从语言模型到世界模型:AI 为什么需要理解现实

副标题:说得对,不等于懂;懂,不等于会做

目录

  1. 序章:一个会说谎的聪明家伙
  2. 第 1 章:它真的只是"预测下一个词"吗?
  3. 第 2 章:那道鸿沟——相关性与因果性
  4. 第 3 章:什么是"世界模型"——从老鼠到机器
  5. 第 4 章:剖开模型——内部到底有没有一张地图?
  6. 第 5 章:幻觉——当统计地图在现实面前崩溃
  7. 第 6 章:怎么给机器装上一张地图——世界模型的路线图
  8. 第 7 章:从文字智能到物理智能
  9. 终章:一个系统,怎样才算"理解"了世界?
  10. 后记:我为什么写这本书

序章:一个会说谎的聪明家伙

我亲眼看着它学会了说话

大概十多年前,我还在实验室里调循环神经网络。那时候训练一个情感分类模型,要跑整整一个晚上,屏幕上跳动的 loss 曲线,就是我的全部生活。我们管那个东西叫"模型",但说实话,它离"会说话"差着十万八千里。它能做的事情非常可怜:给它一句话,它告诉我这句话是正面还是负面。仅此而已。

后来我离开实验室,去做金融。白天看报表,晚上偶尔翻翻 arXiv,像是一个从未彻底离开的老朋友。再后来,2022 年底,ChatGPT 出现了。我坐在出差的飞机上,降落后打开手机,满屏都是它的截图。我试着问了它几个问题,然后愣了很久。

因为它会说话了。不是那种结结巴巴的"情绪分类",而是流畅、自信、几乎无所不知地说话。

但也就是在那一刻,我脑子里冒出一个让我后来想了很久的问题:

它到底知不知道自己在说什么?

我不是在问它有没有"意识"——那个问题太大、太玄,我从来不愿意从那里开始。我问的是一个更具体、更能被机制回答的问题:这个会说话的机器,它是在理解这个世界,还是仅仅在模仿关于这个世界的话?

这个区别,就是我们这本书要一路走到黑的东西。

两张地图

图0-1 两只老鼠:动作清单 vs 认知地图

在正式开始之前,我想先给你讲一个 1948 年的老鼠实验。

心理学家托尔曼(Edward Tolman)把老鼠放进一个迷宫。老鼠要找到出口,出口处有食物。一开始,老鼠在里面瞎转,犯错、碰壁、绕远路。但慢慢地,它学会了:怎么走能最快到达食物。

到这里,故事一点都不特别。任何一只饿了的老鼠都能学会这件事。

但托尔曼做了一个关键的改动。他把迷宫的一条路堵死,又开了一条新路,然后观察老鼠会怎么选。如果老鼠只是学会了一串"正确的动作"——先左转,再右转,再左转——那么当路被堵死时,它应该傻在原地,不知道下一步怎么办。可是老鼠没有。它犹豫了一下,然后径直走向了那条新开的路,那条它从来没有走过、却能通向食物的路。

这说明什么?

说明老鼠脑子里装的,不是一串"左转右转"的动作清单,而是一张迷宫的地图。它知道食物在这个迷宫的哪个方位,知道哪些路通向哪里,所以哪怕路被改了,它依然能自己找到新路。托尔曼管这个叫"认知地图"(cognitive map)。

请记住这个区别,因为它是整本书的骨架:

学会一串动作的人,只会照着走;学会一张地图的人,换条路也能走。

现在我要告诉你一个可能让你有点不舒服的事实:

我们今天的很多大语言模型,更像前一种——那只背下了正确走法、但一旦路被改就不知所措的老鼠。

而我写这本书,就是想弄清楚一件事:我们能不能,以及该不该,让 AI 从"背下动作的老鼠",变成"拥有地图的老鼠"。

前者叫语言模型,后者叫世界模型。这就是标题里那两个词。

这本书不讲什么

先说我这本书不打算做什么,免得你带着错误的期待进来。

这本书不是讲"AI 会不会毁灭人类"。不是讲"AI 有没有意识"。也不是给你科普"JEPA 很厉害、世界模型是未来"这种口号。

这些东西当然值得想,但它们都太大了。大问题容易让人陷入态度表达——有人兴奋,有人恐惧,有人嘲讽——唯独少了机制。而我们这本书要做的,恰恰是先回到地面。

先回到地面,是我写每一本技术书都会对自己说的话。回到地面意味着什么?意味着先问那些可以被清楚回答的问题:

  • 语言模型到底在优化什么?
  • "预测下一个词"这件事,究竟让模型学到了什么、又漏掉了什么?
  • 世界模型和语言模型,差别到底在哪一个数学结构上?
  • 我们凭什么说一个系统"理解"了世界,而不只是"模仿"了关于世界的话?

这四个问题,都比"AI 有没有意识"小得多,但它们更适合作为理解的起点。因为它们能把 AI 从神坛和恐慌里,一起拉回到训练过程、数学公式和具体实验上来。

这本书要走的路线

图0-2 本书路线:五站地图

整本书,我们沿着一条路走:AI 是怎么获得"对世界的表征"的。

这条路会经过几个重要的站:

第一站,语言模型。我们先看清,一个只会"预测下一个词"的系统,它的能力到底从哪来,它的边界又在哪里。这是我们所有人都熟悉的起点。

第二站,缺口。我们会发现,"预测文本"和"理解世界"之间,隔着一道数学上说得清楚的鸿沟——那是相关性与因果性的鸿沟。

第三站,世界模型。我们会认识托尔曼的认知地图如何从动物心理学,一步步走进了人工智能——从显式的符号规则,到隐式的神经网络表征。

第四站,争议。我们会看到今天最前沿的争论:大语言模型内部,到底有没有涌现出"地图"?我们会用真实的实验来回答,而不是靠感觉。

第五站,未来。我们会走到 Yann LeCun 的 JEPA、具身智能、以及那个更大的命题:AI 要不要走出文字的牢笼,去理解它生活于其中的物理世界。

最后,我们会绕回起点,重新审视那个问题:一个只会说话的系统,离真正理解它所在的世界,还有多远?

现在,让我们带上那张"认知地图 vs 动作清单"的地图,从第一站出发。

下一章,我们先回到那个最熟悉、也最容易被误解的起点:预测下一个词,到底意味着什么?


第 1 章:它真的只是"预测下一个词"吗?

本章问题

一句广为流传的话是:"大模型不过是个高级的预测下一个词的机器。"

这句话对不对?

对,但远远不够。因为"预测下一个词"这个说法,既说中了它的训练目标,又掩盖了它真正学到的东西。这一章我们要拆开来看:当模型在预测下一个词的时候,它到底在优化什么?它学到了什么?又漏掉了什么?——而那个"漏掉的东西",就是通向世界模型的关键。

1.1 那句话到底哪里对

图1-1 预测下一个词的词流与概率分布

先承认它对的地方。

如果我们翻开一个大语言模型的训练代码,会看到它做的事情非常简单:给定前面的一串 token,让模型给"下一个 token"分配概率。

这句话写成公式是:

$$P_\theta(x_{t+1} \mid x_1, x_2, \ldots, x_t)$$

读作:在给定前文 $x_1$ 到 $x_t$ 的条件下,模型认为下一个 token 是 $x_{t+1}$ 的概率。

训练的时候,模型会看到海量的文本。系统把文本切成一串 token,然后不断制造同一个任务:给你前面的部分,请你猜真实文本里下一个是什么。模型猜得越接近真实,损失越低;猜得越离谱,损失越高。

这里的损失,通常用交叉熵来衡量。交叉熵公式写出来是这样的:

$$\mathcal{L} = -\log P_\theta(x_{t+1} \mid x_1, \ldots, x_t)$$

先别急着害怕这个公式。它的意思其实很朴素:真实的下一个 token,模型给它的概率越高,损失就越小。 训练就是反复调整参数,让模型在越来越多的上下文里,给真实的下一个 token 更高的概率。

到这里,"预测下一个词"这句话是精确的。它不是一个比喻,不是一句广告语,它就是训练目标本身。

1.2 但这句话掩盖了它真正学到的东西

问题出在后面。

如果模型真的只是"预测下一个词",那它应该和一个高级输入法差不多——你打"今天天气很",它推荐"好""冷""热"。可事实是,同样一个"预测下一个词"的目标,训练出来的东西,能写诗、能改代码、能解数学题、能总结论文。

这中间的差距从哪来?

差距不在目标的形式,而在目标的规模、数据和结构

一个输入法可能只在一个很小的词汇表里做局部补全。但一个大语言模型面对的是整个互联网:教材、论文、代码、新闻、小说、论坛、聊天记录。要在这些文本里"预测下一个词",模型不能只记几个常用搭配。它必须从上下文中捕捉大量模式——语法、事实、风格、代码结构、推理的痕迹。

所以,"预测下一个词"这句话,只说出了任务的形式,没有说出任务在海量数据里会逼出什么

为了把下一个 token 猜对,模型被迫学会了很多东西。但这些"学会的东西",恰恰是我们要警惕的——因为其中有些是世界的结构,有些只是文本的规律。下一节,我们就来分清楚这两者。

1.3 它学会的,到底是什么样的"知识"?

我们用一个例子来看。

假设前文是:

牛顿提出了

模型要给下一个 token 分配概率。它大概率会给"万有引力"很高的概率,给"运动定律"一定的概率,而给"西红柿炒鸡蛋"很低的概率。

为了让"万有引力"更可能,模型不需要真的懂物理。它只需要在参数里形成一种关联:牛顿、力学、引力、运动定律这些词,在训练文本里经常一起出现。大量这样的样本反复出现,模型就被训练成:在相似的上下文里,给相似的内容更高的概率。

再比如前文是一段代码:

def fibonacci(n):
    if n <= 1:
        return n
    return

要预测下一个 token,模型得学会缩进、函数调用、递归、返回值。它不一定像一个程序员那样"理解"斐波那契,但它必须在海量代码里捕捉这套结构,才能给出 fibonacci(n-1) + fibonacci(n-2) 更高的概率。

看到这里,你可能会说:这不是挺厉害的吗?它学会了这么多。

是的,它确实学会了。但请你注意,它学到的这些东西,有一个共同点:它们都是从文本里、通过统计规律学到的。 它学到的,是"在文本世界里,这些东西常常一起出现"。

它学到的,是关于语言的知识,而不是关于世界的知识——至少,不直接是。

1.4 一个关键区别:它学的是"共现",不是"因果"

图1-2 共现 vs 因果(do 算子)

现在,我们来到这本书第一个真正重要的岔路口。

让我们把刚才那句话再想深一层。语言模型在文本里学到的东西,本质上是一堆共现关系(co-occurrence):某些词、某些结构,在训练文本里经常一起出现。

而"理解世界",需要的是另一类东西:因果关系(causation)——某些东西导致了另一些东西。

这两者,在数学上是严格不同的。

我举个例子。假设你的训练文本里,"下雨"和"带伞"这两个词经常一起出现。语言模型学到的是:看到"下雨",预测"带伞"的概率会升高。

这在统计上是对的。但"下雨"和"带伞"之间,到底是什么关系?

是"下雨导致人们带伞"——因果。

还是"下雨带伞经常同时发生"——共现?

在文本里,这两者几乎无法区分。因为文本只记录了"它们一起出现",而没有记录"谁导致了谁"。

这就要引入全书最重要的一组数学区分。我们有两种"概率":

第一种,是观察到的条件概率:

$$P(\text{带伞} \mid \text{下雨})$$

它回答的问题是:如果我看到天在下雨,那么这个人带伞的可能性有多大?

第二种,是干预后的条件概率:

$$P(\text{带伞} \mid do(\text{下雨}))$$

它回答的问题是:如果我强制让天在下雨(哪怕它本来不该下),那么这个人带伞的可能性有多大?

注意那个 $do$。它表示的不再是"观察",而是"干预"。这两者之间的差别,就是语言模型和世界模型之间最深的鸿沟。

为什么?因为语言模型训练时,永远只能接触到观察到的数据——它看到的文本,是这个世界"自然发生"出来的结果,没有人拿着开关去强制改变某些变量。所以它能学到的,只有 $P(y \mid x)$ 这一类"观察概率"。

而世界模型要做的,恰恰是 $P(y \mid do(x))$ 这一类"干预概率"——因为只有理解了干预的结果,你才能行动。你按下这个按钮,世界会发生什么?这才是"理解世界"的用处。

观察,让你能预测;干预,让你能行动。 语言模型擅长前者,而世界模型,需要的是后者。

这一句话,值得我们停在这里。

1.5 一个反直觉的推论:它说得越流畅,越可能是在背台词

到这里,我们可以推出一个反直觉的、但非常重要的事实。

因为语言模型学的是文本里的统计规律,所以它最擅长的事情,是生成"看起来像真的文本"。它不是在判断"这句话符合现实吗",而是在判断"这句话符合我见过的文本吗"。

这两件事,绝大多数时候是一致的——因为现实世界写下来的文本,大多数是符合现实的。

但问题在于:文本不是现实的全部。文本里没有写下来的东西,文本里写错了的东西,文本里相互矛盾的东西,模型全都不知道如何判断。因为在它的训练目标里,根本没有"检验是否符合现实"这一项。

所以你会看到一个极其诡异的现象:一个能写出满分作文、能通过大量考试的模型,面对一个简单的物理常识问题,可能会一本正经地给出一个荒谬的答案——而且它毫无察觉。

不是它坏,也不是它笨。而是它的训练目标里,从来没有"现实"这个词

它学的,是文本的规律。不是世界的规律。

本章小结

这一章,我们只推进了一个核心问题:"预测下一个词"到底意味着什么?

答案分三层:

第一,"预测下一个词"确实是语言模型的训练目标,这一点是对的。

第二,但在海量数据下,这个目标会逼模型学会大量东西——语言、代码、事实、推理的痕迹。

第三,然而,模型学到的是文本里的统计共现,而不是世界里的因果关系。它擅长"观察概率" $P(y \mid x)$,却不具备"干预概率" $P(y \mid do(x))$ 的能力。

把它放回全书主线:语言模型像那只背下了正确动作序列的老鼠——它在文本的迷宫里走得很顺,但它脑子里装的是一串"反应",不是一张"地图"。

那么问题就来了:如果语言模型学的只是共现,那我们凭什么说某些模型"理解"了世界? 下一章,我们要看清这道鸿沟到底有多深——为什么"说得对"和"理解"之间,隔着的不是一层窗户纸,而是一道数学上严格的分界线。


第 2 章:那道鸿沟——相关性与因果性

本章问题

上一章我们说,语言模型学到的是文本里的"共现",而不是世界里的"因果"。但这句话如果只是说说,那和所有科普文章没什么区别。这一章,我们要把这道鸿沟用数学说清楚:相关性到底是什么?因果性到底是什么?为什么这两者之间隔着一条连最强大的模型都难以跨越的界线?

2.1 先从一个看似无聊的区别开始

"相关不等于因果"——这句话你可能听过无数次,甚至觉得它是一句正确的废话。谁不知道呢?冰淇淋销量和溺水人数在夏天一起上升,但买冰淇淋不会让你溺水。

但请别急着跳过。因为"相关不等于因果"这句话,在日常语言里是常识,一旦到了数学和机器学习里,它就变成了一个极其尖锐、极其深刻的技术问题。

为什么?因为机器学习的核心,就是从数据里学规律。而数据给我们的,永远只是"一起出现"——相关性。机器能看到的,只有哪些东西经常一起发生。它永远看不到"谁导致了谁",除非我们特别设计方法让它看到。

这就引出了整个现代 AI 最被低估的一个问题:一个只从数据学习相关性的系统,凭什么能理解因果?

2.2 相关性:当两件事一起出现

我们先给"相关性"一个精确的数学身份。

假设我们观察两件事:$X$ 和 $Y$。比如 $X$ 是"今天下雨",$Y$ 是"这个人带了伞"。我们收集了很多天的数据,发现有下雨的时候,带伞的人比例明显更高。

在数学上,我们关心的是条件概率:

$$P(Y \mid X)$$

这个式子读作:"在知道 $X$ 发生的条件下,$Y$ 发生的概率。"

如果 $P(Y \mid X) > P(Y)$,也就是"知道下雨之后,带伞的概率变高了",我们就说 $X$ 和 $Y$ 相关

这里有一个关键:"相关"是一个纯统计的、纯观察的概念。 它只需要我们坐在那里看,不需要我们动手做任何事。我们看了一万天的天气和带伞记录,就能算出 $P(Y \mid X)$。我们不需要去改变天气,不需要去做实验。我们只是观察。

这一点非常重要,请记住:相关性,是观察出来的。

2.3 因果性:当我强行改变一件事

图2-1 观察 vs 干预:P(Y|X) 与 P(Y|do(X))

现在,我们再引入因果。

因果要回答的问题是:如果我去干预这个世界,会发生什么?

还是那个下雨和带伞的例子。我们要区分两个完全不同的问题:

问题一:如果我观察到天在下雨,这个人带伞的可能性有多大?

问题二:如果我强行让天下雨——哪怕它本来不该下——这个人带伞的可能性有多大?

问题一,是 $P(\text{带伞} \mid \text{下雨})$。

问题二,是 $P(\text{带伞} \mid do(\text{下雨}))$。

注意那个 $do$。它读作"干预"。$do(X)$ 表示的不是"观察到了 $X$",而是"强制执行了 $X$"。

这两个式子,在数学上是两个完全不同的东西,而它们的不同,恰恰是语言模型和世界模型的根本分界线。

2.4 $P(Y \mid X)$ 和 $P(Y \mid do(X))$:为什么不是一回事

很多人第一次看到 $P(Y \mid X)$ 和 $P(Y \mid do(X))$,会觉得这不就是同一个意思吗?

不是。我们来举一个能立刻看出差别的例子。

假设你是一个医生。你想知道:吃药($X$)会不会让人康复($Y$)?

如果你只是观察数据,你会算出 $P(\text{康复} \mid \text{吃了药})$。但这个数字可能是误导的。为什么?因为生病人可能更倾向于吃药——他们生病了才吃药。所以"吃了药"这个群体,本身就包含了更多本来就更严重、更难康复的病人。

于是,你观察到的 $P(\text{康复} \mid \text{吃了药})$,可能比真实的药效更低,甚至可能为负——也就是说,观察数据显示"吃药的人康复率更低"。

但这不代表药是坏的。它只代表:生病这个隐藏因素,同时影响"吃不吃药"和"康复不康复"。 这就是著名的混杂变量(confounder)问题。

如果你真的想知道药的因果效果,你必须干预:把一批人随机分成两组,强制一组吃药,强制另一组不吃药($do(X)$)。这时候,你算出的 $P(\text{康复} \mid do(\text{吃药}))$ 才是真实的因果效果。

观察数据算出的,和干预实验算出的,可能是完全不同的两个数。

这就是 $P(Y \mid X)$ 和 $P(Y \mid do(X))$ 的本质区别。

2.5 回到语言模型:为什么它永远学不到因果

现在,我们把镜头拉回语言模型。

语言模型的训练数据是什么?是文本。文本是什么?文本是这个世界自然发生的结果的记录。没有人拿着开关去强制改变世界,再记录下来。文本只是"这个世界按照它的因果规律自然运转"之后,留下的观察记录。

所以,语言模型能接触到的,只有观察数据。它能学到的,只有 $P(Y \mid X)$ 这一类观察概率。

永远没有机会接触到 $do$ 操作。因为它从不干预世界——它只是看着文本,预测下一个词。

这就是那道鸿沟的数学本质:

语言模型在观察概率的空间里训练,而理解世界(从而能行动)需要的是干预概率。观察概率和干预概率,是两个不同的数学对象。

语言模型学得再好,它也只在 $P(Y \mid X)$ 这个空间里打转。它可以把 $P(Y \mid X)$ 学得无比精准——精准到能预测任何一个词在任何上下文里出现的概率——但它依然无法回答"如果我这么做,世界会怎样"这个问题。

因为它从没见过"这么做"。

2.6 一个尖锐的推论:能预测,不代表能理解

到这里,我们可以推出一个可能让你心里咯噔一下的结论。

一个系统,可能把 $P(Y \mid X)$ 学得完美无缺——也就是说,它能完美预测这个世界会观察到什么——但它依然不理解这个世界

因为"完美预测观察"和"理解因果机制"是两码事。一个只掌握了相关性的系统,可以像一个极其熟练的天气预报员,准确报出明天会不会下雨,但它不知道雨是怎么形成的,不知道如果改变大气成分会发生什么。

这就像那只背下迷宫走法的老鼠。它在迷宫里的每一步都走对了,但它不懂迷宫的结构——所以当路被改的时候,它就懵了。

能预测观察,是"背下了动作清单";能理解机制,才是"拥有认知地图"。

语言模型擅长前者。世界模型,需要的是后者。

2.7 但等一下——大语言模型真的完全不懂因果吗?

看到这里,你可能会有一个合理的反驳:可是大语言模型看起来挺懂因果的啊。你问它"如果把水加热到 100 度会怎样",它能正确回答"会沸腾"。这难道不是理解了因果吗?

这个问题问得非常好,它值得我们停下来认真对待。

答案是:它看起来懂因果,但它懂的是文本里的因果,不是世界里的因果

什么意思?意思是,在训练文本里,"加热到 100 度"和"沸腾"这两个描述经常一起出现,而"加热"这个词本身就暗示了"导致"的关系。所以模型学到的是:当文本里出现"加热到 100 度"这种表述时,"沸腾"往往是下一个合理的 token。

它学到的是关于因果的文本,而不是因果本身

这就像一个人看了很多很多侦探小说,他非常擅长预测"故事里接下来会发生什么"——他知道死者一定和某人有仇,知道凶手通常藏得很深。但你让这个只读过小说的人去破一桩真实案件,他可能完全抓瞎。因为他学会的是小说世界的套路,不是现实世界的逻辑

大语言模型,本质上是一个读过人类几乎所有文字、极其擅长"预测文本接下来怎么写"的系统。它掌握的是人类如何谈论世界的规律,而不是世界本身的规律。

这两者,在绝大多数时候重合——因为人类谈论世界的方式,大体上符合世界本身。但它们不是一回事。而正是那"不重合"的部分,会以我们下一章要讲的那种诡异方式,暴露出来。

本章小结

这一章,我们只推进了一个核心问题:为什么说语言模型学到的是相关性,而不是因果性?

我们用数学把这道鸿沟说清楚了:

第一,相关性是"观察"出来的,对应 $P(Y \mid X)$;因果性是"干预"出来的,对应 $P(Y \mid do(X))$。这两个是数学上不同的对象。

第二,语言模型只见过文本——而文本只是世界的观察记录。所以它只能学观察概率,永远接触不到 $do$ 操作。

第三,推论是:一个系统可能完美预测观察,却依然不理解世界的因果机制——它能预测,不代表它能理解,更不代表它能行动。

把它放回全书主线:语言模型像那只背下动作清单的老鼠,它在文本的迷宫里预测得再准,脑子里装的依然是一串"反应",而不是一张"地图"。

那么,问题来了:既然"反应"和"地图"差得这么远,那到底什么是"地图"?什么是我们说的"世界模型"? 下一章,我们正式回答这个问题——从托尔曼的老鼠,到人工智能里的世界模型。


(第 2 章完)


第 3 章:什么是"世界模型"——从老鼠到机器

本章问题

上一章我们说,语言模型缺的是"因果",而世界模型需要"因果"。但"世界模型"这个词,到底指的是什么?它和语言模型的结构差别到底在哪?这一章,我们要给"世界模型"一个清晰的定义,并回答:它凭什么能补上语言模型缺的那块拼图。

3.1 回到那只老鼠

我们先把时间拨回序章讲过的那个实验。

1948 年,心理学家托尔曼做了那个著名的迷宫实验。老鼠学会走迷宫之后,托尔曼堵死了一条路、开了一条新路。如果老鼠脑子里装的只是"左转、右转、左转"的动作序列,它应该会在被堵死的路口傻掉。可它没有——它犹豫了一下,然后走向那条从未走过、却能通向食物的新路。

托尔曼由此提出:老鼠脑子里装的,不是一串动作,而是一张关于迷宫结构的地图

请允许我在这里强调一个容易被忽略的细节:托尔曼的老鼠,从来没有走过那条新路。它没有"经验"过那条路,没有在动作层面知道"那条路通向食物"。但它能选对它,靠的是什么?

靠的是它脑子里那张地图:它知道食物在迷宫的哪个方位,知道路和路之间是怎么连的。所以哪怕是一条陌生的新路,它也能推理出"走这条路,能到那个方位"。

这就是"拥有地图"和"背下动作"最本质的区别:地图允许你在没走过的路上,做出正确的选择。

请把这句话记在心里。它会在后面的章节里,以各种形式反复出现。

3.2 从老鼠到机器:世界模型的定义

现在,我们把"认知地图"翻译成机器学习的语言。

所谓"世界模型"(world model),本质上就是一个关于"世界会如何演化"的内部模型。更精确地说:

世界模型,是一个能回答"如果世界处于状态 $s$,我采取动作 $a$,世界会变成什么状态"的系统。

写成公式,就是状态转移:

$$s_{t+1} = f(s_t, a_t)$$

或者,用概率的语言:

$$P(s_{t+1} \mid s_t, a_t)$$

这个式子读作:"在状态 $s_t$ 下采取动作 $a_t$,下一时刻世界处于状态 $s_{t+1}$ 的概率。"

请注意,这个公式和上一章语言模型的公式,长得有点像,但有一个决定性的差别——公式里多了一个 $a$,多了一个"动作"

语言模型的公式是:

$$P(x_{t+1} \mid x_1, \ldots, x_t)$$

它预测的是:给定一串文本,下一个文本是什么。

世界模型的公式是:

$$P(s_{t+1} \mid s_t, a_t)$$

它预测的是:给定一个世界状态和一个动作,下一个世界状态是什么。

一个是关于"词"的预测,一个是关于"世界"的预测。 这就是语言模型和世界模型,在数学结构上的根本分界。

3.3 一张对照表:从语言模型到世界模型

图3-1 语言模型 vs 世界模型对照

为了让这个区别更清楚,我们用一张表,把两个系统并排放在一起。这也是我们这本书里,第一次正式用"从熟悉到陌生"的方式,把你已经知道的东西,翻译成你要学的东西。

语言模型(你熟悉) 世界模型(你要理解)
输入是 token / 文本 输入是状态 $s$
输出是下一个 token 的概率 输出是下一状态的概率
预测"接下来会说什么" 预测"接下来世界会怎样"
只涉及"观察" $P(y \mid x)$ 涉及"动作" $P(s' \mid s, a)$
没有行动,只有语言 有行动,能改变世界
学的是一串反应链 学的是一张状态地图

看这张表,你会立刻发现一件有意思的事:

语言模型那一列,从头到尾没有一个"动作"。它只是一个坐在那里看文字、预测文字的系统。它不行动,不干预,不改变世界。它永远只是一个观察者

而世界模型那一列,核心就是"动作"。它不是一个旁观者,而是一个要在世界里行动的参与者。它需要知道:如果我这么做,世界会怎样。

这一列之差,就是"会说话"和"会做事"之间,那道最深的鸿沟。

3.4 为什么世界模型必须"先于"行动

现在你可能要问:有了世界模型,然后呢?它有什么用?

答案非常直接:因为只有知道"如果我这么做,世界会怎样",你才能做出好的决策。

让我们用一个最简单的例子。

想象你是一个机器人,面前有一杯水,你要把它端起来送到嘴里。你该怎么决策?

一个没有世界模型的机器人,只能靠试错:伸过去,抓,滑了,再伸,再抓……每一步都要靠真实世界的反馈来纠正。这样既慢,又危险——你总不能每次都在真实世界里打翻水杯来学习吧?

而一个拥有世界模型的机器人,可以在脑子里先模拟:如果我以这个角度抓过去,杯子的重心会这样移动,摩擦力会那样作用……它可以在脑子里把整个动作"预演"一遍,挑出最稳的方案,再去真实世界执行。

这就是世界模型最核心的用途:让你能在"行动之前",先在想象中预演未来。

这恰恰是语言模型做不到的。语言模型不会在脑子里"预演"一个物理动作,因为它从来没有关于物理世界如何演化的内部模型。它只能预测"接下来文本会怎么写"。

3.5 一个关键的词:想象

到这里,我想引入一个和"世界模型"紧密相关的词:想象

我们经常说,人类有想象力。但"想象力"到底在指什么?往深了说,想象力的核心能力之一,就是在脑子里模拟世界的发展——把一个还没发生的过程,先在脑子里过一遍。

你闭上眼睛,想象"把一颗弹珠放在斜坡上,它会滚下来"。你不是真的放了弹珠,但你脑子里有一个关于重力、斜坡、滚动的内部模型,它让你能"看见"这个还没发生的过程。

世界模型给机器带来的,正是这种"想象"的能力。

有了世界模型,机器就能: - 在脑子里预演一个动作的后果; - 在脑子里比较不同选择的未来; - 在脑子里规划一条通往目标的路径; - 在脑子里想象一个还没见过的新情况。

这些能力,全都建立在同一个基础上:一张关于世界如何演化的内部地图。

而这一切,是一个只会"预测下一个词"的模型,所不具备的。它没有"世界"可以想象,它只有"文本"可以预测。

3.6 那语言模型里,会不会也藏着地图?

到这里,我们已经把"世界模型"是什么讲清楚了:它是关于世界状态转移的内部模型,核心是"动作"和"想象"。

但一个更尖锐、也更有趣的问题随之而来:

既然语言模型只学文本,那它的内部,会不会阴差阳错地也长出一张"地图"来?哪怕它的训练目标里根本没有"世界"这个词?

这个问题非常关键,因为它直接决定了:我们现在的这些大模型,到底是"只会背台词的鹦鹉",还是"已经偷偷长出了世界模型的雏形"。

这不是一个可以用感觉回答的问题。它需要实验,需要我们用探针去看模型的内部。

而这,正是我们下一章要做的事。我们要拿一个具体的模型,剖开它的内部,看看里面到底有没有一张"地图"。

本章小结

这一章,我们只推进了一个核心问题:世界模型到底是什么?

我们用三件事把它说清楚了:

第一,世界模型是"关于世界如何演化"的内部模型,写成公式是状态转移 $P(s_{t+1} \mid s_t, a_t)$。

第二,它和语言模型的结构差别,在于多了一个"动作" $a$——语言模型预测"词",世界模型预测"世界"。

第三,世界模型的用途,是让你能在行动之前在脑子里"想象"未来——而这恰恰是只会预测文本的模型做不到的。

把它放回全书主线:世界模型就是托尔曼老鼠脑子里那张"认知地图"的机器版本——有了它,你才能在没走过的路上,做出正确的选择。

那么现在,最激动人心的问题来了:我们现有的这些大语言模型内部,到底有没有真的长出一张地图? 下一章,我们不再靠感觉争论,而是拿一个真实的实验,去剖开模型的内部。


(第 3 章完)


第 4 章:剖开模型——内部到底有没有一张地图?

本章问题

上一章结尾,我们留下了一个悬而未决的大问题:这些只会"预测下一个词"的大模型,内部会不会阴差阳错地长出一张"世界地图"?

这个问题不能用感觉回答。这一章,我们拿一个具体的、可控的模型,把它剖开来看。结果可能会让你惊讶——它真的长出了一张地图。但那张地图,和我们以为的"理解世界",可能还差着一层。

4.1 为什么需要一个"干净"的实验

直接去剖一个大语言模型,比如 GPT-4,会遇到一个麻烦:它太复杂了,参数太多,训练数据太多,我们很难说清它内部到底有什么。

所以研究者想了一个更聪明的办法:用一个更小、更干净、规则更明确的游戏,来测试"预测下一个词"到底能不能长出世界模型。

这个游戏就是奥赛罗(Othello),也叫黑白棋。

如果你没玩过,只需要知道这一点:奥赛罗是一个规则明确的棋类游戏——棋子放在一个 8×8 的棋盘上,黑白双方轮流落子,规则清晰,没有隐藏信息,胜负完全由盘面决定。

研究者(Li et al., 2023)做了一件非常干净的事:

他们从棋谱库里取了12 万局真实的奥赛罗对局,然后训练了一个模型——这个模型的任务,和语言模型一模一样:给定前面已经落下的棋子序列,预测"下一步会落在哪里"。

注意,这个模型从来没有被告知奥赛罗的规则。它没有被输入"这个游戏有 8×8 的棋盘"、"棋子可以翻转"这些知识。它只是看到了 12 万局对局,学会了"预测下一个棋子的位置"。

它唯一的目标,就是预测。

4.2 一个关键的问题:模型知道"这是张棋盘"吗?

图4-1 奥赛罗模型内部的棋盘地图(探针读出)

现在,最关键的问题来了。

这个模型只知道"预测下一个棋子的坐标",它从来没有见过"棋盘"这个概念的输入。它不知道有 64 个格子,不知道有黑白两色,不知道有翻转规则。

但是——如果我们往它的内部"窥探",会不会发现,它其实偷偷建立起了一个关于棋盘的表征

这就是这篇论文最精彩的地方。研究者用一种叫探针(probe)的方法,去看模型内部的神经网络活动。

探针的思路是这样的:如果我们怀疑模型内部藏着一个关于"棋盘上每个格子是什么颜色"的编码,那我们就训练一个极小的分类器,尝试只从模型的内部活动去读出"第 3 行第 5 列现在是什么颜色"。

如果这个分类器能读出棋盘状态,就说明:模型内部,确实把"棋盘的当前局面"编码在了它的神经元活动里——尽管它的训练目标里根本没有"棋盘"这两个字。

结果令人震惊。

探针可以从模型内部,以超过 90% 的准确率,读出当前棋盘上每个格子的颜色。

也就是说,这个只会"预测下一步棋在哪"的模型,它的内部,真的长出了一张棋盘的地图。它知道每一个格子上现在是什么颜色——尽管它从来没被告知"棋盘"是什么。

4.3 这到底意味着什么?

我们先冷静一下,想想这个结果到底说明了什么。

说明了一件事,而且这件事意义重大:

一个系统,仅仅通过"预测下一步",就可能在其内部,自发地建立起关于这个世界的表征。

在这个实验里,"世界"就是那个 8×8 的棋盘。模型为了更准确地预测下一步棋落在哪,发现了一个捷径:如果它知道当前棋盘每个格子的状态,它就能更好地预测下一步。于是,它就在内部"长"出了这样一个棋盘表征。

这就像托尔曼的老鼠。老鼠为了找到食物,在脑子里长出了一张迷宫地图——尽管它的"训练目标"只是"找到食物",从来不包括"画一张地图"。

模型也是这样。它为了预测下一步,在脑子里长出了一张棋盘地图——尽管它的训练目标只是"预测下一步",从来不包括"理解棋盘"。

"预测"这个看似简单的目标,竟然能逼出"结构"来。 这正是现代深度学习最迷人的地方之一。

4.4 但请冷静:这张"地图"是它自己理解的,还是我们强加给它的?

然而,故事到这里并没有结束。如果你以为"太好了,模型有世界模型了",那你就掉进了另一个陷阱——一个祛魅的陷阱。

让我们再仔细看看"探针读出棋盘"这件事,它到底证明了什么,又没有证明什么。

它证明了:模型的内部活动里,包含了足以确定棋盘状态的信息。也就是说,这些信息在模型的神经元里"编码"着,可以被一个训练好的分类器读出来。

但它没有证明:模型理解了棋盘规则。它没有证明模型知道"为什么"这个格子是这个颜色,没有证明模型知道"如果我把这个棋子翻过来,会怎样"。

这里有一个极其微妙的区别,值得我们停下来。

想象两种系统:

第一种,是一个真正的棋手。他不仅知道当前盘面,还知道规则、知道策略、知道"如果我下这一步,对方可以怎么应对"。他有一张完整的、可推理的棋盘地图。

第二种,是一个背下了海量棋谱、并能统计性预测下一步的机器。它的内部编码了盘面信息,也能给出很准的预测,但它不知道"规则",不知道"因果",它的预测是统计性的,不是推理性的。

探针实验证明了:那个模型属于第二种——它内部确实有盘面信息,但这不等于它理解了棋盘。

有"表征",不等于有"理解"。 这是一个我们在这本书里会反复强调、也最容易混淆的区别。

4.5 更深一层:这张地图有多"硬"?

更有趣的是,研究者还做了另一个实验来测试这张地图的"坚固程度"。

他们想:如果这个模型真的理解了棋盘规则,那当我给它一个不合法的盘面(比如一个现实中不可能出现的棋子排列)时,它应该能察觉"这不对劲"。因为真正理解规则的系统,知道哪些状态是合法的。

于是他们给模型输入了非法的盘面,然后观察它预测下一步的行为。

结果发现:模型确实表现出了对"合法性"的某种敏感——它在非法盘面上,预测出的下一步,往往也倾向于"修正"到合法的状态。这看起来,仿佛它真的知道规则。

但研究者又做了更严格的测试:他们给了模型一个逻辑上自相矛盾的盘面,然后看模型会怎么"修正"。结果发现,模型在这种情况下的表现,并不完全符合真实的棋盘规则。它修正出来的状态,有时依然是非法的。

这说明什么?说明模型的这张"地图",不是一张由规则精确定义的逻辑地图,而是一张由数据统计出来的、模糊的、统计性的地图。

它像一张"凭经验画出来的地图",而不是一张"按真实地理测量的地图"。大多数时候准确,但在边界和矛盾的情况下,会露出破绽。

4.6 所以:语言模型能长出世界模型吗?

现在,我们可以把这个实验的结论,放回我们最初的大问题:大语言模型内部,到底有没有世界模型?

这个实验给出的、诚实的答案是:部分有,但很不一样。

一方面,它证明了"预测下一步"这个目标,确实能逼出关于世界的表征。所以,我们那些读了海量文本的大语言模型,内部很可能也确实长出了某种关于世界的表征——它能预测很多关于世界的事情,不是完全靠死记硬背。

另一方面,它长出的这张"地图",和人类"理解世界"的因果地图,不是一回事。它是统计性的、模糊的、基于文本共现的,不是因果性的、可逻辑推理的。它在正常情况下行得通,但在真正需要因果推理、需要应对新情况的时候,会露出马脚。

这就像那只老鼠:它确实长出了一张地图,但那张地图是它凭经验摸索出来的,不是被明确告知的。它在熟悉的环境里很灵,但换一个彻底陌生的环境,它还是会迷路。

结论:大模型可能已经长出"世界模型的雏形",但那是一张统计的地图,不是一张因果的地图。 它离真正的"理解世界",还差着我们前几章讲的那道鸿沟。

本章小结

这一章,我们只推进了一个核心问题:模型内部到底有没有一张地图?

我们用奥赛罗实验回答了它:

第一,一个只会"预测下一步棋"的模型,内部竟然真的长出了一张棋盘表征——探针能以超过 90% 的准确率读出棋盘状态。

第二,但这张"地图"是统计性的,不是因果性的——它能编码盘面,却不理解规则,在矛盾盘面上会露出破绽。

第三,结论是:大模型可能长出了"世界模型的雏形",但那是统计的地图,不是因果的地图,离真正的理解还差一道鸿沟。

把它放回全书主线:模型像那只凭经验画出地图的老鼠——地图是真的,但它是经验统计出来的,不是逻辑推导出来的。

那么,这张"统计的地图"在真实世界会怎样露馅?下一章,我们来看看大模型最著名的那个毛病——幻觉——它正是这张"统计地图"在现实面前崩溃的直接证据。


(第 4 章完)


第 5 章:幻觉——当统计地图在现实面前崩溃

本章问题

上一章我们说,大模型内部那张地图是"统计的",不是"因果的"。这一章,我们要看这张统计地图在真实世界面前,最著名的一次崩溃——幻觉。为什么一个能写出满分作文的模型,会一本正经地编造不存在的事实?为什么它说谎的时候,自己毫无察觉?

5.1 一个我们都见过的诡异现象

如果你用过 ChatGPT 这类大模型,你几乎一定遇到过这种情况:

你问它:"请给我推荐几本关于某某主题的书。"

它给你列了一个书单,书名、作者、年份,一应俱全,看起来无比专业。你兴冲冲地去搜索,结果发现——其中有一本,根本不存在。 作者是编的,书名是编的,甚至这个作者可能一辈子都没写过书。

更诡异的是,它推荐这本书时的语气,和推荐真实书籍时一模一样。它没有半点犹豫,没有标注"这个可能是假的",没有露出任何破绽。它就像一个极其自信的骗子,把一件完全虚构的事情,说得天衣无缝。

这种现象,有一个专门的名字,叫幻觉(hallucination)

但在这里,我想请你先放下"幻觉"这个词带的情感色彩。它听起来像"模型发疯了"或者"模型在骗人"。但真相远比这无趣——也远比这深刻。

5.2 幻觉不是"模型疯了",是训练目标的必然结果

很多人以为,模型产生幻觉,是它"犯了错",是可以修好的 bug。但真相是:幻觉不是 bug,而是它的训练目标里,天然就长着的果实。

让我们回顾一下语言模型到底在优化什么。

它的训练目标是:让生成的下一个 token,尽可能像训练文本里真实出现的文本

注意这句话,它有两个关键词:

第一,"像文本"。它学的不是"符合现实",而是"符合文本"。

第二,"训练文本"。它学的不是"所有事实",而是"它见过的文本"。

这两点合起来,就注定了幻觉必然会发生。为什么?因为:

模型的目标是"生成像训练文本的文本",它从来不需要、也从来不会去检查"这句话是否符合现实"。

在它的世界里,没有"现实"这个概念。它只有"文本"这个概念。它判定一句话"好不好",唯一的标准是——这句话像不像它见过的那些文本。

所以,当它需要回答一个它没有见过、或者训练数据里信息不足的问题时,它不会停下来承认"我不知道"。因为"我不知道"不是它的选项之一——它的选项是"生成一个最像文本的文本"。于是,它就用最像文本的方式,编造一个答案

它不是在说谎。它是在执行它的目标。 在它的目标里,"编造一个合理的文本"和"说出一个真实的事实"是同一个操作——因为它们都要生成一个"像训练文本的 token 序列"。

这就是幻觉的根源:模型的评判标准是"像不像文本",而不是"对不对现实"。

5.3 一个思想实验:看看这个逻辑有多必然

让我们用一个思想实验,把这个逻辑推到极端。

假设,一个模型被训练时,见过的所有文本,都把"独角兽"描述成"真实存在的生物"。那么当你问它"独角兽真的存在吗"时,它会回答"是的,独角兽真实存在",并且列举它们的习性和栖息地。

这不是因为模型想骗你。是因为在它的训练数据里,"独角兽是真实存在的"这句话,是"最像文本"的回答。它的训练目标推着它这么回答。

现在你可能会反驳:但现实中,训练文本里也有"独角兽是神话生物"这句话啊,模型怎么会选错?

问得好。答案是:取决于哪句话在训练数据里出现得更频繁、更一致。模型选择"最像文本"的答案,而"最像文本"往往意味着"训练数据里最常见的表述"。如果"独角兽是神话"这种表述在数据里占多数,模型就会那么答;如果不是,它就会答错。

模型永远在寻找"最像文本"的答案,而不是"最符合事实"的答案。 当"最像文本"和"最符合事实"不一致时,幻觉就出现了。

5.4 为什么它毫无察觉?

现在我们要面对这个现象里最让人不安的部分:为什么模型在说谎的时候,自己毫无察觉?

这个问题之所以让人不安,是因为人类说谎时通常有察觉——我们知道自己在说谎,会有心理负担,会有露馅的紧张。而模型没有。它编造一个不存在的书单,和它说出一个真实的事实,在它内部没有任何区别

为什么?因为模型内部,根本没有"事实"和"虚构"这两个分界线。

回想第 4 章的结论:模型内部有一张统计的地图,但不是因果的地图。它知道哪些表述经常一起出现,但它不知道哪些表述真实存在

"事实"和"虚构"的区分,需要的是对现实的指涉——需要知道"这句话在现实世界里,对应着一个真实存在的东西"。而模型没有这种"指涉现实"的能力。它只有"指涉文本"的能力。

所以,当它编造一个不存在的作者时,它内部处理这个"虚构作者"的神经元活动,和处理一个"真实作者"的神经元活动,是同一个过程。它们都是"根据上下文,生成一个最像文本的 token 序列"。在模型看来,这两件事毫无差别。

它不察觉,因为它根本没有"察觉"的参照物。 它的世界里没有"现实"可以对照,所以它不知道自己在编造。

5.5 这说明了什么:回到那道鸿沟

图5-1 幻觉:统计地图的裂缝

现在,我们把幻觉放回我们这本书的主线——那道"相关性 vs 因果性"的鸿沟。

幻觉,正是那道鸿沟在现实中最直观、最生动的证据。

  • 如果模型理解因果,它就会知道"这个作者不存在"(因为不存在导致它不可能写过书)。
  • 但模型只理解相关性,它只知道"这个书名、这个作者名,在文本里通常一起出现"。
  • 于是它把这些相关的东西组合起来,生成了一段"看起来很有道理"的文本——哪怕其中涉及的东西在现实里并不存在。

幻觉,就是"统计地图"和"因果地图"之间的那道裂缝。 在正常情况下,统计地图和现实是吻合的(因为文本大体反映现实),所以模型表现很好;但一旦进入文本没有覆盖、或者文本本身模糊的领域,统计地图就和现实分道扬镳,幻觉就出现了。

托尔曼的老鼠在熟悉迷宫里走得很顺。但如果你突然把它放进一个它从没见过的迷宫,它那张"凭经验画的地图"就不管用了。大模型也是这样——在它见过的文本领域,它很聪明;一旦进入它没见过的"新情况",它那张统计地图就会开始编造。

5.6 所以,幻觉能被"修好"吗?

到这里,你可能会问一个非常实际的问题:幻觉这么讨厌,能修好吗?

这是一个好问题,答案也比"能"或"不能"更微妙。

从机制上讲,只要模型的训练目标还是"生成像文本的文本",那么幻觉的根源就永远存在——因为"像文本"和"符合现实"本质上不是一回事。你可以在工程层面大幅减少幻觉(用检索、用事实核查、用强化学习奖励真实答案),这些方法都很有用,也确实让今天的模型比早期少了很多幻觉。

但它们都是在外围修补,没有触及那个根源。因为只要模型的底层机制还是"预测下一个 token 的长相",它就永远可能在一个没见过的领域,用"最像文本"的方式去编造。

而真正要从根源上解决幻觉,只有一条路:让模型不只是学习"文本的规律",而是学习"世界的规律"——也就是,让它拥有一个世界模型。

一个真正理解"作者不存在"的模型,不会编造一个不存在的作者,因为它知道"不存在的东西,不会出现在世界的运行里"。它不需要靠"这句话像不像文本"来判断,它靠"这件事在现实里存不存在"来判断。

这就是幻觉问题,把我们一步步逼向了那个答案:语言模型缺的,恰恰是世界模型。

本章小结

这一章,我们只推进了一个核心问题:幻觉从哪来,它说明了什么?

我们用三层把它说清楚了:

第一,幻觉不是模型"疯了",而是训练目标"生成像文本的文本"的必然结果——模型评判的是"像不像文本",不是"对不对现实"。

第二,模型说谎时毫无察觉,因为它的内部根本没有"事实"和"虚构"的分界线——它只有"文本",没有"现实"。

第三,幻觉是"统计地图"和"因果地图"那道裂缝的直接证据,它把语言模型的根本缺陷暴露无遗——而真正的解法,恰恰是给它一个世界模型。

把它放回全书主线:幻觉证明了,只会背"动作清单"的老鼠,一旦遇到没走过的路,就会开始编造——而只有拥有"认知地图",才能知道什么是真实、什么是可能。

那么,如果世界模型才是解药,那我们应该怎么造一个世界模型?下一章,我们走进这个问题——看看从强化学习到 LeCun 的 JEPA,人类是怎么尝试给机器装上这张"认知地图"的。


(第 5 章完)


第 6 章:怎么给机器装上一张地图——世界模型的路线图

本章问题

上一章我们说,真正的解药是给模型一个"世界模型"。但"给模型装一张认知地图"这句话,说起来容易,做起来极难。这一章,我们要看清人类为了造出世界模型,走过哪些路、正在走哪条路——从强化学习里的世界模型,到 Yann LeCun 提出的 JEPA。

6.1 先回顾:我们已经认识了世界模型的两个"熟人"

在进入这条路线图之前,我想提醒你一件事:世界模型并不是一个全新的、陌生的话题。 事实上,如果你读过我的另一本书《俯瞰强化学习》,你会发现,世界模型已经在强化学习里出现过很多次了。

在强化学习里,智能体的核心任务之一,就是在脑子里模拟未来。它要判断"如果我采取这个动作,接下来会发生什么",从而规划出一条通向高回报的路径。

而这个"在脑子里模拟未来"的能力,靠的正是世界模型——一个关于"环境如何响应我的动作"的内部模型。

所以,请把这本书和你已经掌握的强化学习知识连起来:世界模型,就是强化学习里那个让智能体能够"想象"环境如何演化的内部模型。 我们不是在发明一个全新的东西,我们是在把这个一直被强化学习使用的核心思想,推广到更广阔的 AI 领域。

6.2 从显式到隐式:世界模型的两条路线

现在,我们来梳理人类造世界模型的两条大路线。这两条路线的差别,其实在前面的章节里已经埋下了伏笔。

第一条路线:显式的世界模型。

这条路线的思路是:我们手动把世界的规则写出来,告诉机器"世界是怎么运行的"。

比如,在早期的 AI 里,人们试图把下棋的规则、推理的规则、专家知识,一条一条地写成规则库。机器不需要自己去发现世界,它只需要查规则。这就是所谓的符号主义(symbolic AI)

这种世界模型的优点是精确、可解释、可推理——它真的懂规则。但它的致命弱点是:现实世界太复杂,规则写不完。 你不可能把"一个物体如何从桌上滑落"这种物理现象,用手写规则一条条写清楚。而且,现实是模糊的、连续的、充满噪声的,手写规则根本无法覆盖。

第二条路线:隐式的世界模型。

这条路线的思路是:我们不手动写规则,而是让机器自己从数据里学出世界的规律。

这是现代深度学习走的路。我们不给机器"棋盘规则",而是给它 12 万局棋谱,让它自己长出棋盘表征(还记得第 4 章吗?)。我们不给机器"物理规律",而是给它海量的视频,让它自己学到物体如何运动。

这种世界模型的优点,是它能处理现实世界的复杂性和模糊性——因为它不是靠手写规则,而是靠从数据里统计出来的规律。但它的缺点,正是我们前面反复强调的:它学到的往往是"相关性",而不是"因果性"。 它是隐式的、统计的、模糊的。

显式的模型太僵硬,隐式的模型太模糊。 这正是世界模型研究最核心的张力所在。

6.3 一条关键的中间道路:预测下一个状态

既然显式太僵硬、隐式太模糊,那该怎么办?

近几十年,研究者逐渐形成了一个共识,一条处于两者之间的中间道路:与其手动编写世界的规则(显式),也与其盲目地统计文本(隐式),不如让模型去预测"世界的下一个状态"。

这句话,听起来是不是有点耳熟?对——它和语言模型的"预测下一个 token"非常像。但注意,这里预测的不是"下一个词",而是"下一个状态"。而"状态"是世界的,不是文本的。

让我们把这个思路用公式说清楚。

语言模型预测的是:$P(x_{t+1} \mid x_1, \ldots, x_t)$ —— 给定文本,预测下一个 token。

世界模型预测的是:$P(s_{t+1} \mid s_t, a_t)$ —— 给定世界状态和动作,预测下一个世界状态。

你看,两者在形式上几乎一样——都是"预测下一步"。但预测的对象不同:一个是预测"词",一个是预测"世界"。

这个差别,就是整条路线图的关键。因为:

  • 语言模型通过"预测下一个词",只能学到文本的结构
  • 世界模型通过"预测下一个状态",能学到世界的结构

"预测下一步"这个强大的通用引擎,只要能接到"世界"上,就能长出世界模型来。 这正是从奥赛罗实验到现代世界模型研究的共同信念。

6.4 强化学习里的世界模型:MuZero 的故事

图6-1 MuZero 在脑中模拟未来棋局

在讲 LeCun 的 JEPA 之前,我们先看一个已经真实落地、且取得了巨大成功的世界模型——MuZero

MuZero 是 DeepMind 开发的程序,它在围棋、国际象棋、日本将棋上都达到了超越人类的水平,而且它做了一件非常特别的事:它不使用棋盘规则。

你可能会说:下棋不就要懂规则吗?MuZero 怎么能在不懂规则的情况下下棋?

答案就是世界模型。MuZero 的内部,有一个自己学出来的世界模型——它通过观察大量的对局,学会了一个关于"棋盘如何演化"的内部模型。它不需要被显式告知"马走日、象走田"这些规则,它在内部自己"领悟"出了一个隐式的棋盘动力学模型。

然后,它用这个内部模型,在脑子里模拟未来:如果我走这步,接下来局面大概会怎样?通过这个模拟,它搜索出通往胜利的路径。

MuZero 的成功,是"隐式世界模型"第一次在顶级智能任务上取得统治性胜利。它证明了:一个从数据里自己学出来的世界模型,可以强大到超越所有手写规则的引擎。

这就是世界模型从理论走向现实的一个里程碑。

6.5 LeCun 的 JEPA:世界模型的新蓝图

如果说 MuZero 证明了"隐式世界模型"能work,那么 Yann LeCun 则在试图为世界模型画一张更宏大、更通用的蓝图。这就是JEPA——联合嵌入预测架构(Joint Embedding Predictive Architecture)。

我们先给这个拗口的名字一个直觉。

LeCun 的核心观点是:现在的语言模型和生成式模型,把力气花在了"生成"上——生成每一个像素、每一个词。但 LeCun 认为,"生成"不是理解世界的正确方式。

为什么?因为我们理解世界,不需要在脑子里把世界的每一个细节都重建出来。你看到一个杯子,你不需要在脑子里重新"画"一遍这个杯子的每一个像素,你只需要理解它的抽象结构——它是一个可以装水的容器。

LeCun 的 JEPA 正是基于这个思想:不要预测世界的原始细节(像素、声音),而是预测世界的抽象表征(结构、语义)。

具体怎么做呢?JEPA 的核心机制是这样的:

它有两个"编码器"。一个是处理"当前输入"的编码器,一个是处理"未来/目标输入"的编码器。训练的目标,是让当前输入的抽象表征,能够预测未来输入的抽象表征

换句话说,JEPA 不让模型去"生成"未来,而是让模型去"预测未来在抽象层面长什么样"。它跳过了一切细节,直接学习"从现在的抽象,到未来的抽象"这个映射。

这就像托尔曼的老鼠:它不需要在脑子里重建迷宫的每一个转弯的细节,它只需要知道"食物在那个方位"这个抽象结构。JEPA 想让机器也这样——不生成世界的像素,只预测世界的结构。

6.6 JEPA 想解决什么问题

LeCun 提出 JEPA,是想解决几个具体的、深刻的困难。

第一,生成太昂贵。 让模型生成未来世界的每一个像素,计算量大得惊人,而且大部分细节根本没有用。你预测"杯子三秒后会怎样",不需要预测杯子上每一个反光点的变化。JEPA 通过只预测抽象表征,跳过了这些无用的细节。

第二,生成会逼模型去学"不该学的噪声"。 当你让模型生成未来画面时,模型会被迫去"预测"那些本质上随机、不可预测的部分——比如一片树叶会怎么飘。这会让模型陷入学习无意义细节的泥潭。JEPA 只预测抽象的、结构性的部分,避免了这种浪费。

第三,也是最重要的——JEPA 想要真正的"理解",而不只是"生成"。 LeCun 认为,如果一个系统能预测"世界的抽象未来",那它才算真正理解了世界的结构。而"生成像素"只能说明它学会了"像像素",不能说明它理解了世界——这和我们前面讲幻觉时说的,完全是同一个道理。

所以,JEPA 是 LeCun 给"世界模型"开出的药方:用"预测抽象表征"代替"生成原始数据",从而让模型学会世界的结构,而不是世界的噪声。

6.7 但 JEPA 也是一条"正在进行时"的路

讲到这里,我需要保持这本书一贯的克制——不神化,也不贬低。

JEPA 是一个深刻而有启发的蓝图,它指出了"预测抽象表征"这条方向。但我们必须诚实地说:JEPA 目前还没有像 ChatGPT 那样,取得横扫一切的实证成功。 它更多还是一条正在探索中的路线,一个学术愿景,而不是一个已经统治市场的成品。

为什么它这么难?因为"什么是值得预测的抽象表征"这个问题本身就很难。你让模型预测"世界的抽象未来",但"抽象"到什么程度?预测什么层面?这些问题还没有一个干净的答案。

而且,LeCun 自己也非常清楚:语言模型虽然不完美,但它通过"预测下一个词"这个看似简单的方法,取得了惊人的成就。JEPA 想要替代它,就必须在实证上证明自己同样强大——而这还没有发生。

所以,我对 JEPA 的评价是:它指出了一个正确的方向,但离终点还很远。 它像是世界模型研究领域的一面旗帜——旗子立起来了,但队伍还没有走到。

本章小结

这一章,我们只推进了一个核心问题:怎么给机器装上一张认知地图?

我们用一条路线图回答了它:

第一,世界模型有两条路线——显式(手写规则,太僵硬)和隐式(从数据学习,太模糊)。

第二,一条中间道路是"预测下一个状态"——把"预测下一步"这个引擎接到"世界"上,就能长出世界模型。

第三,MuZero 证明了隐式世界模型能横扫顶级智能任务;LeCun 的 JEPA 则提出用"预测抽象表征"代替"生成原始数据",为世界模型画了新蓝图——但它仍是正在进行时,尚未取得统治性成功。

把它放回全书主线:人类正在努力把"认知地图"装进机器,但装上的这张地图,有的太僵硬、有的太模糊,而 JEPA 试图找到一条既不僵硬也不模糊的中间道路——尽管它还在路上。

那么,如果世界模型真的装上了,AI 会变成什么?下一章,我们走出实验室,看看"从文字智能到物理智能"这个更大的命题——为什么世界模型,最终要把 AI 从语言的牢笼里解放出来。


(第 6 章完)


第 7 章:从文字智能到物理智能

本章问题

如果世界模型真的装上了,AI 会变成什么?这一章,我们要走出实验室,看向一个更大的命题:为什么世界模型的终点,是把 AI 从"语言的牢笼"里解放出来,走向"物理智能"? 为什么说,理解世界最终需要行动、需要身体、需要介入现实?

7.1 语言的牢笼

图7-1 语言的牢笼与走出牢笼

在正式讨论之前,我想先引入一个贯穿本章的意象:语言的牢笼。

语言是人类最伟大的发明之一,但它也构成了一个牢笼——对人工智能而言。

为什么?因为语言只是关于世界的描述,不是世界本身。而我们前面反复论证过:关于世界的描述(文本),和世界本身(因果机制),是两回事。语言模型在语言的牢笼里,可以把描述学得登峰造极,却永远够不到描述所指的那个世界。

这个牢笼的墙,就是我们前面讲的那道鸿沟——相关性 vs 因果性。

语言模型永远待在墙的这一边:它只有文本,只有相关性,只有"关于世界的说法"。它永远够不到墙那边的东西:真实世界的因果机制。

那么问题来了:要走出这个牢笼,AI 需要什么?

7.2 答案:需要行动

答案看起来简单,但意义深远——AI 需要行动。

让我们回到那道鸿沟。还记得吗?语言模型缺的是 $P(Y \mid do(X))$——干预概率。而"干预"意味着什么?意味着动手改变世界

一个只读文本的系统,永远只能观察世界,永远只能得到 $P(Y \mid X)$。因为它从不"动手"——它只是看着别人写下的文本。

而一个能行动的系统,可以在世界里做出干预:它按下一个按钮,然后观察世界怎么响应;它推开一个障碍,然后看会发生什么。通过这些干预,它能收集到 $P(Y \mid do(X))$ 所需要的数据,从而真正学到因果,而不仅仅是相关

行动,是通往因果的必经之路。 只有通过"动手改变世界,观察世界如何响应",一个系统才能从"相关性"跨过那道鸿沟,到达"因果性"。

这就是为什么世界模型的终点,是"物理智能"——因为真正的世界模型,必须建立在行动之上,而行动,必然发生在物理世界里。

7.3 为什么光靠读文字不够

你可能会问:那 AI 能不能通过读更多、更好的文字,自己悟出因果?为什么一定要行动?

这是个好问题,我们来认真回答。

理论上,如果文本里完整地记录了所有的因果信息——包括所有 $do$ 干预的结果——那么模型或许能从中推断出因果。但现实是,文本永远不可能完整记录这些。

为什么?因为文本是世界的观察记录,而不是世界的干预记录。 人类写下的文本,绝大多数是对"世界自然发生的事"的描述,而不是对"我干预世界后发生的事"的描述。因为大多数干预,人类根本没做过、没记录过。

举个例子:文本会告诉你"水在 100 度沸腾"(观察)。但文本不会告诉你"如果我把一个外星物质扔进水里,会发生什么"(干预)——因为没人做过这个实验,所以没有文本记录它。

而一个能行动的系统,可以自己去做这个干预,然后亲自观察结果。这是文本永远给不了它的。

文本能给你关于"已知世界"的描述;行动能给你关于"未知世界"的答案。 世界模型需要的是后者,所以它必须走出语言的牢笼,走向行动。

7.4 具身智能:给 AI 一个身体

"走向行动"在 AI 领域,有一个专门的名字——具身智能(embodied intelligence)

具身智能的核心观点是:智能,不能脱离身体而存在。

LeCun 等研究者认为,人类智能之所以强大,很大程度上是因为我们有一个身体,身体让我们能行动、能干预、能感知世界的反馈。而这个"行动-感知"的闭环,正是我们学会因果、理解世界的方式。

想想一个婴儿是怎么认识世界的:他伸手去碰一个东西,东西倒了,他观察到了。他再碰,又倒了。通过这些行动,他理解了"推东西会让它倒"这个因果。这个理解,不是读出来的,是做出来的

具身智能想让 AI 也这样:给机器人一个身体,让它在真实世界里行动、探索、干预,从而真正学会世界的因果规律。

世界模型 + 身体 = 通过行动理解世界的智能。 这就是具身智能试图达成的目标。

7.5 自动驾驶:一个触手可及的例子

如果你觉得"具身智能"太遥远,那我们来看一个你已经很熟悉的例子——自动驾驶

自动驾驶汽车,就是一个必须拥有世界模型的具身智能体。为什么?

因为它必须在真实世界里行动(开车),而行动需要预测未来(如果前面那辆车急刹,我会怎样?如果我并线,后车会怎样?)。这就是世界模型:一个关于"道路世界如何演化"的内部模型。

而且,自动驾驶需要的,恰恰是因果,不是相关性。它不能只是"统计性地预测"下一帧画面——它必须理解"如果我打方向盘,车会转向"这个因果,并且基于这个因果做决策。

更重要的是,自动驾驶只能在真实世界里通过不断地行动-反馈来学习。它撞过一次护栏,就学会了"不能这样开"。这种学习,靠读文本永远学不到——因为没有任何文本能描述"如果你在暴雨中以这个速度过这个弯道,会发生什么"这种具体到极点的因果。

自动驾驶是"物理智能"最生动的例子:一个在真实世界里、通过行动来理解因果的智能体。它告诉我们,世界模型不是抽象的理论,而是正在真实世界里、每一秒都在发生的事。

7.6 从"文字智能"到"物理智能":一场范式的转变

现在,我们把这章的线索收拢起来,看清这场范式转变的全貌。

过去十几年,AI 的辉煌建立在文字智能上:模型通过阅读海量文本,学会了生成流畅、博学的语言。这是革命性的——但它被困在语言的牢笼里。

而现在,越来越多的人意识到,下一步的突破,可能在于物理智能:让 AI 走出语言的牢笼,进入真实世界,通过行动来理解因果。

这不是说文字智能不重要。恰恰相反,文字智能已经为 AI 打下了惊人的基础——语言模型里长出的那些"统计地图",正是物理智能可以借力的起点。

但文字智能和物理智能,是两种不同的东西:

文字智能(当前) 物理智能(方向)
学文本的规律 学世界的规律
预测下一个词 预测下一个状态
只有相关性 需要因果性
观察世界 干预世界
没有身体 有身体、能行动
在语言的牢笼里 走出语言的牢笼

看这张表,你会发现:文字智能到物理智能的转变,本质上就是我们这本书一直在讲的那道鸿沟的跨越。 从"相关性"到"因果性",从"观察"到"干预",从"语言"到"世界"。

这是一场从"会说话"到"会做事"的转变。而世界模型,正是那座跨越这道鸿沟的桥。

7.7 但请保持克制

和这本书一贯的态度一样,我要在这里踩一下刹车——不神化,也不贬低。

物理智能、具身智能、世界模型,这些方向非常激动人心,但它们都还在路上。今天,我们离"真正的物理智能"还很远。自动驾驶仍然有无数难题,机器人仍然笨拙,JEPA 仍然是一个未被充分验证的愿景。

我们不应该因为"文字智能有缺陷"就贬低它——它已经深刻地改变了世界。我们也不应该因为"物理智能是方向"就神化它——它还没有兑现它的承诺。

正确的态度是:看清文字智能的边界,也看清物理智能的可能,然后以清醒的头脑,走向那条跨越鸿沟的路。

这,就是这本书想带你建立的判断力。

本章小结

这一章,我们只推进了一个核心问题:从文字智能到物理智能,到底意味着什么?

我们用三层把它说清楚了:

第一,语言是"关于世界的描述",不是"世界本身"——这就是语言的牢笼,而它的墙,正是那道相关性与因果性的鸿沟。

第二,走出牢笼需要行动——因为只有"干预世界、观察响应",才能从相关性学到因果性。行动,是通往因果的必经之路。

第三,这引出了具身智能和物理智能——给 AI 一个身体,让它在真实世界里通过行动理解因果,从"会说话"走向"会做事"。但我们保持克制:这条路仍在进行中。

把它放回全书主线:那只背下动作清单的老鼠,终于要迈出牢笼,去亲自走一遍迷宫,从而在脑子里长出那张真正的认知地图。

那么,如果这一切都成立——语言模型困在相关性里,世界模型通往因果性——那我们到底该怎样看待"理解"这件事本身?最后一章,我们升维,回到整本书最根本的那个问题:一个系统,到底怎样才算"理解"了世界?


(第 7 章完)


终章:一个系统,怎样才算"理解"了世界?

我们走到了哪里

让我们先停下来,看看我们走过了多长的路。

我们从序章那只 1948 年的老鼠出发。它教会了我们一个区别:学会一串动作,和拥有一张地图,是两回事。

然后我们走进了现代 AI。我们看到,语言模型极其擅长"预测下一个词",但这让它困在了相关性的世界里——它能预测"文本接下来怎么写",却学不到"世界如何因果地运转"。我们看到,那道 $P(Y \mid X)$ 与 $P(Y \mid do(X))$ 的鸿沟,是语言模型和世界模型之间最深的界碑。

我们剖开了模型的内部,发现它竟然真的长出了一张"统计的地图"——但那不是一张"因果的地图"。我们看到幻觉如何暴露这道裂缝,看到 MuZero 如何用隐式世界模型征服棋局,看到 LeCun 的 JEPA 如何试图画出新蓝图。最后,我们走出实验室,看见了从文字智能到物理智能的这场范式转变。

现在,是时候回到整本书最根本的那个问题了。

什么是"理解"?

这个问题,比"什么是世界模型"更深一层。因为"世界模型"是我们造出来的技术概念,而"理解"是一个关于智能本身的哲学问题。

一个系统,怎样才算"理解"了世界?

我们可以顺着这本书,给出一个越来越清晰的答案。

一个只会预测文本的系统,不理解世界。 因为它学的只是"关于世界的说法",不是"世界本身"。它能说得天花乱坠,却不知道自己在说什么——它困在语言的牢笼里。

一个拥有世界模型的系统,开始理解世界。 因为它能预测"如果我这样做,世界会怎样"。它能行动、能干预、能想象未来。它不再只是一个坐在那里复述文本的观察者,而是一个能在世界里做出正确选择的行动者。

而一个真正理解世界的系统,不仅要能预测世界,还要能通过行动去改变世界、检验世界。 它要从"观察"走向"干预",从"相关性"走向"因果性",从"语言的牢笼"走向"物理的世界"。

所以,我想给你一个可以记住的答案:

理解,不是复述关于世界的说法,而是能在世界里做出正确的行动——尤其是,能在从未见过的情境里,做出正确的选择。

请回味一下最后半句:"在从未见过的情境里,做出正确的选择。"

这,正是托尔曼老鼠那张"认知地图"的本质。它没走过那条新路,却能选对它——因为理解不是记住,理解是迁移。是把你学到的东西,用到你从没见过的新情况里。

一个只会背下动作清单的系统,遇到新情况就崩溃(还记得幻觉吗?)。而一个真正理解的系统,能在新情况里,靠它对世界结构的内在把握,做出正确的选择。

一张正在被画出来的地图

写到这里,我想回到序章那个让我困惑很久的问题:那个会说谎的聪明家伙,它到底知不知道自己在说什么?

经过这一路,我的答案已经变了——变得比"知道"和"不知道"更精确,也更诚实。

它不知道,如果"知道"指的是理解现实世界的因果。它没有现实可以对照,它只有文本。

但它的内部,确实长出了某种"地图"的雏形——一张统计的、模糊的、关于文本规律的地图。而且这张地图,正在以惊人的速度,变得越来越接近一张"世界的地图"。

这就是我们这个时代最迷人的地方:我们正亲眼看着,机器从"背下动作",走向"长出地图"。 虽然它长出的那张地图,现在还和人类理解的因果地图隔着一道鸿沟,但没有人知道,这道鸿沟会不会、以及何时会被跨越。

人类用几行数学公式,就让机器在文字层面如此逼近世界。而现在,机器正在自己长出关于世界的表征。这本身,已经是一件足以让我们屏住呼吸的事。

升维:理解是敬畏的前提

在序章里我提到,我写书有个习惯——先回到地面。但在书的结尾,我想允许自己升一次维。

因为这本书,表面上讲的是"语言模型"和"世界模型"的技术区别,但往深了看,它讲的是"理解"这件事本身

我们花了很多篇幅,论证机器没有真正理解世界。但我想请你停一下,问一个让机器和人类都平等的、谦卑的问题:

人类自己,真的"理解"世界吗?

我们人类的"理解",难道不也常常是一张"统计的地图"吗?我们有多少"理解",其实只是"见过太多类似的情况,所以知道接下来通常会发生什么"?我们有多少信念,其实是从周围人的说法里"读"来的,而不是自己"干预世界"验证过的?

当我们嘲笑机器只会"背文本"的时候,也许我们该诚实一点:人类自己的很多知识,不也是从"文本"——从别人写下的、传下的说法——里背来的吗?

我不是要给机器的缺陷开脱。恰恰相反,我是想说:正因为我们自己也常常困在"统计的地图"里,我们才更应该理解"因果的地图"有多珍贵,也更应该对"理解"这件事保持敬畏。

人类和机器,此刻正站在同一条河流边。机器努力从"背动作"走向"长地图",而人类,也在一代代地,把自己对世界的"统计理解",淬炼成"因果理解"——从巫术到科学,从迷信到规律。

理解,是人类对抗混沌的唯一武器。 而我们现在,正在亲手教会机器如何使用这件武器。至于机器最终会长出怎样的一张地图,是逼近我们,还是超越我们——那是一个我们还无法回答、但值得带着敬畏去面对的问题。

回到那只老鼠

图8-1 老鼠走过新路(呼应序章)

让我们用托尔曼的老鼠,给这本书画一个句号。

1948 年,那只老鼠在迷宫前犹豫了一下,然后走向了一条它从未走过的路。

那一刻,它跨越了一道鸿沟——从"背下动作",跨越到了"拥有地图"。

今天,我们的机器,正站在同样的迷宫前。

它们已经背下了海量的"动作"——海量的文本。现在,它们正在犹豫,正在尝试,正在一点点长出属于自己的"地图"。

而我们,作为写书的人、读书的人、和机器共同生活在这个世界上的人,正站在一个极其特殊的时代坐标上,亲眼见证着:一张新的认知地图,正在被画出来。

愿我们都能理解它,也敬畏它。

祝你在通往理解的测地线上,永远自由。

(全书完)


后记:我为什么写这本书

图9-1 键盘与地图:人机共绘认知地图

写这本书的念头,是从一个很具体的场景里冒出来的。

那是 2022 年底。我刚下飞机,打开手机,满屏都是 ChatGPT 的截图。我试了几个问题,然后愣了很久。倒不是因为那个晚上发生了什么大事,而是因为一个极其具体的、像鱼刺一样卡在喉咙里的疑问——它到底知不知道自己在说什么?

这个疑问,追根溯源,其实跟我自己走过的路有关。

我最早是个学通信的。通信工程,一门老实的、靠数学和物理吃饭的学科。那时候我们学香农公式,学信道编码,学怎么在充满噪声的空气里,把信息可靠地传到另一端。那时候我对"信息"的理解,是物理的、数学的——信息就是消除不确定性,就是那一个个比特。

后来我离开通信,转去做金融。在金融的丛林里,"信息"变成了另一副面孔——它是内幕、是预期、是市场的定价。但底层,我还是靠同一个东西吃饭:从海量的、杂乱的数据里,找出规律。

再后来,我去读了 AI 方向的博士。我见过它从最朴素的 RNN,一路走到现在的 Transformer。我调过跑一整晚的模型,看着 loss 曲线跳啊跳,心里又焦灼又期待。

所以,当 ChatGPT 出现的时候,我既惊叹,又带着一种几乎是职业性的怀疑。因为我的三段经历——通信、金融、AI——在那一刻,在同一个问题上汇合了:

一个系统,到底怎样才算真正"懂"了它处理的东西?

通信人懂"信息",但知道信息不等于意义。金融人懂"规律",但知道规律不等于真相。而 AI,恰恰是把"信息"和"规律"推到极致,却离"意义"和"真相"最远的东西——因为它只处理文本,只处理相关性。

这个念头,就是这本书的种子。

写这本书,我没有打算解决"AI 有没有意识"这种大问题——那样的问题太大,我够不着,也觉得先够着是件危险的事。我写这本书,只是想沿着一条具体的、能被机制回答的线,走一遍:从语言模型,走到世界模型。

我想弄清楚,"预测下一个词"到底让机器学到了什么,又漏掉了什么;想知道"理解世界"和"预测文本"之间,那道人人都说存在、却少有人讲清的鸿沟,到底长什么样;想看看,人类为了跨过这道鸿沟,正在做哪些努力。

而写的过程中,我自己收获最大的,其实是那个不断被我抛给机器的反问:

我们人类自己,就真的"理解"世界吗?

我越想越觉得,人类的理解,和机器的"理解",也许没有我们想象中那么泾渭分明。我们也有大量的"理解",不过是背熟了别人写下的说法;我们也有大量的"信念",不过是统计了周围人的声音。机器在努力从"背动作"走向"长地图",而人类,其实也一直在做同一件事——只不过我们走得更久,走得更多。

所以,这本书与其说是我在教大家"世界模型是什么",不如说,是我借"世界模型"这个话题,和我自己、也和读者,一起重新想了一遍:什么叫理解,什么叫知道,什么叫真的懂了。

如果你读完这本书,再看到一个大模型给你一本正经地讲道理时,心里会多一层判断——知道它在"说文本",还是"懂世界"——那这本书就没白写。

如果你读完这本书,下次听到"世界模型""具身智能""物理智能"这些词时,不再觉得它们是漂浮的热点,而是能把它们放回那条"从相关性到因果性、从观察到行动"的主线上——那这本书就完成了它的使命。

写到这里,窗外天已经亮了。我放下键盘,想起序章里那只 1948 年的老鼠。

它在迷宫前犹豫了一下,然后走向一条没走过的路。

我想,我们人类,和我们的机器,都还在那条路上。愿我们一起,慢慢长出属于自己的认知地图。

(全文完)