《俯瞰强化学习：目标、反馈循环与智能体的自我改进》

完整书稿

目录

• 序章：一个会改变世界的学习者
• 第一部分：我们究竟在优化什么
  • 第 1 章：长期回报：为什么眼前的奖励不够
  • 第 2 章：奖励不是目的：如何把意图翻译成数字
• 第二部分：未来如何返回现在
  • 第 3 章：Bellman 方程：用未来重新定义现在
  • 第 4 章：信用分配：谁应当为结局负责
  • 第 5 章：自举：用尚未完成的预测更新预测
• 第三部分：长期目标如何变成一次更新
  • 第 6 章：为什么强化学习的损失函数看起来不像损失函数
• 第四部分：每一种估计都有代价
  • 第 7 章：偏差与方差：不存在免费的估计
  • 第 8 章：最大化偏差与价值幻觉
  • 第 9 章：致命三角：为什么深度 RL 容易失控
• 第五部分：学习者改变了自己的数据
  • 第 10 章：非平稳性：在移动的地面上学习
  • 第 11 章：On-Policy 与 Off-Policy：旧经验还能用吗
  • 第 12 章：经验回放、目标网络与更新约束：稳定化工具箱
• 第六部分：探索未知，也承担风险
  • 第 13 章：探索与利用：为什么不能总选当前最优
  • 第 14 章：深度探索：从随机试错到主动寻找信息
  • 第 15 章：探索的边界：安全、成本与可控性
• 第七部分：把算法放回全景图
  • 第 16 章 综合案例一：价值方法如何一步步长成 DQN
  • 第 17 章 综合案例二：为什么要直接学习策略
  • 第 18 章 综合案例三：Actor-Critic 如何让行动者与评价者合作
  • 第 19 章 综合案例四：学习策略，还是学习世界
• 第八部分：当强化学习进入大模型
  • 第 20 章 当语言模型成为策略
  • 第 21 章 RLHF：把偏好变成优化信号
  • 第 22 章 DPO、GRPO 与新一代后训练方法
  • 第 23 章 对齐问题的哲学余波
• 结语 用六个问题解剖任何强化学习算法
• 后记 我为什么不想按部就班地介绍强化学习
• 附录 A 数学基础
• 附录 B 关键公式速查
• 附录 C 算法映射表
• 附录 D 超参数思想地图
• 附录 E 推荐阅读路线
• 附录 F 核心参考资料

序章：一个会改变世界的学习者

1. 学习者不再站在世界之外

先想象一个很普通的机器学习任务。

我们准备了一批图片，其中有猫，也有狗。每张图片旁边都写着正确答案。模型看过图片，给出预测；预测错了，就根据误差调整参数。无论模型今天表现得好还是坏，训练集里的猫不会突然变成狗，照片也不会因为模型的一次更新而重新拍摄。

在这个过程中，模型站在数据之外。它像一个参加考试的学生：试卷早已印好，答案也早已存在。学生可以改变自己，却不会改变下一道题。

强化学习面对的是另一种世界。

一个机器人要学习走路。它今天迈出的每一步，都会改变下一秒身体的位置、速度和平衡状态。一个游戏智能体要学习下棋。它选择哪一步，决定了棋盘随后会变成什么样子。一个语言模型要学习生成更好的回答。它采用什么表达方式，会影响人类给出的偏好反馈，也会影响下一轮收集到的数据。

在这些问题中，学习者不再站在世界之外。

它一边学习，一边行动；一边行动，一边改变未来能够看见的数据。它不是面对一张静止的试卷，而是在一场尚未结束的游戏中不断修改自己的策略。

这就是强化学习真正特殊的地方。

强化学习研究的不是如何从固定答案中学习，而是一个行动者如何在行动会改变未来的世界中持续改进自己。

2. 从直线走进反馈循环

监督学习最常见的结构接近一条直线：

输入数据 → 模型预测 → 与标签比较 → 计算误差 → 更新参数

强化学习的结构更像一个闭环：

策略 → 动作 → 环境 → 新状态与奖励 → 新数据 → 更新策略
 ↑                                              ↓
 └──────────────────────────────────────────────┘

策略决定动作，动作改变环境，环境产生新的状态和奖励。这些经验随后被用于更新策略。更新后的策略又会产生新的动作，进入下一轮循环。

这条闭环带来一个在监督学习中没有那么突出的事实：

参数不仅决定模型输出什么，也决定模型下一步将看到什么数据。

如果一个游戏智能体从不尝试进入地图北部，它就不会获得北部区域的数据。如果一个推荐系统总是展示同一类内容，它就很难知道用户是否也喜欢其他内容。如果一个语言模型在偏好优化后越来越倾向于使用某种固定表达，下一轮采样数据也会越来越集中在这种表达附近。

学习改变行为，行为改变数据，数据再次塑造学习。

强化学习的困难，大多来自这种循环结构。

图 0-1：强化学习全景地图

3. 一段经历如何写成数学对象

为了讨论这场持续发生的交互，我们需要先给“一段经历”一个准确名字。

假设在时刻 0，智能体处于状态 s_0。它根据策略选择动作 a_0，环境随后给出奖励 r_0，并转移到新状态 s_1。智能体继续选择动作 a_1，环境继续反馈。

整段经历可以写成：

$$\tau=(s_0,a_0,r_0,s_1,a_1,r_1,s_2,a_2,r_2,\ldots)$$

这个希腊字母 τ 读作 tau，通常表示一条轨迹（trajectory）。

公式中的符号分别表示：

这条公式看起来很简单，却包含了强化学习与监督学习之间最深的差异之一：

监督学习通常从外部拿到已经存在的数据；强化学习的数据则是在智能体行动的过程中生成的。

换句话说，轨迹不是一份静态档案，而是智能体与环境共同写下的历史。

4. 为什么眼前的奖励不够

环境每一步都可能给出一个奖励 r_t。但如果智能体只追求眼前奖励，它往往学不到真正有价值的行为。

下棋时，一步暂时牺牲棋子，可能换来几步之后的胜利。机器人走路时，一次看似不够快的调整，可能避免随后摔倒。语言模型推理时，一段暂时没有直接得分的中间分析，可能是最终得到正确答案的必要步骤。

因此，强化学习关心的不只是眼前奖励，而是从当前时刻开始，未来能够积累多少奖励。

我们把这个量称为回报（return）：

$$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

将求和展开，可以看得更清楚：

$$G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \gamma^3 r_{t+3} + \cdots$$

这里：

折扣因子 γ 像一个调节远近视野的旋钮。

• 当 γ=0 时，智能体只在意眼前奖励；
• 当 γ 接近 1 时，智能体更加重视长期影响；
• 当任务有明确终点时，公式中的无穷求和也可以改写为有限求和。

这一章暂时不深入讨论 γ 的全部含义。第 1 章会回到这个公式，解释为什么折扣不仅是数学技巧，也与任务定义、不确定性和长期规划有关。

此时只需要抓住一点：

强化学习的目标跨越时间。一次行动的意义，常常要在许多步之后才能显现。

5. 策略究竟好不好

不同策略会产生不同轨迹。

一个保守的策略可能总是走熟悉路线，获得稳定但有限的收益。一个更大胆的策略可能暂时犯错，却发现更高回报的路径。即使使用同一个策略，环境中的随机性也可能使每一次经历不同。

因此，我们不能只看一条轨迹，而要看一种策略在许多可能轨迹上的平均表现。

强化学习最基本的目标可以写成：

$$J(\pi)=\mathbf{E}_{\tau \sim \pi}[G_0]$$

这里：

如果只用一句话翻译这条公式：

一个好策略，不是偶尔走运，而是在许多可能经历中都能获得更高的长期回报。

这也是全书最重要的出发点。

后面看到 TD、Q-Learning、DQN、Policy Gradient、PPO、RLHF、DPO 或 GRPO 时，我们会不断回到这里：这些算法外表不同，但它们最终都必须说明，自己如何帮助智能体获得更好的长期结果。

6. 六个核心问题

一旦目标跨越时间，学习又处在反馈循环之中，六个问题会自然出现。它们不是人为拼出的目录，而是强化学习无法绕开的六个关口。

6.1 目标问题：我们究竟在优化什么

刚才的目标函数 J(π) 假设奖励已经存在。但现实中，奖励经常需要被设计。

机器人应该优先走得快，还是优先避免摔倒？推荐系统应该优化点击率、停留时间，还是长期满意度？语言模型应该追求有帮助、无害、诚实，还是风格自然？

真实意图通常比一个数字复杂。奖励只是代理。

因此，第一个问题是：

智能体真正想优化的长期目标是什么？可计算奖励与真实意图之间有多远？

第一部分将讨论长期回报、奖励设计、Goodhart 定律与 Reward Hacking。

6.2 时间问题：未来如何返回现在

如果一盘棋最后赢了，到底是哪一步走得好？

如果一个语言模型生成了五百个 Token，最终答案被判为错误，中间哪些 Token 应该承担责任？

奖励往往迟到，但参数更新必须发生在具体动作上。于是，我们需要将未来结果向前传递。

第二个问题是：

迟到的奖励如何返回现在，并把信用分配给此前的动作？

第二部分将讨论价值函数、Bellman 方程、信用分配与自举。

6.3 更新问题：长期目标如何变成一次更新

J(π) 定义了我们想要什么，却没有自动告诉优化器下一步应该怎么走。

真实任务中的轨迹可能很长，环境可能不可微，奖励可能稀疏，数据还会随策略变化。我们必须把长期目标转换为一次可以计算的局部更新。

第三个问题是：

长期目标如何变成一次可执行的参数更新？

第三部分将集中解释为什么强化学习的 Loss 看起来不像普通 Loss，以及估计器、代理损失、约束项和工程实现分别扮演什么角色。

6.4 估计问题：看不见未来时要付出什么代价

等待一条轨迹完全结束，通常代价很高。提前使用估计值，又可能把错误传播下去。

Monte Carlo 更愿意等待结局，Temporal Difference 更愿意提前结算。两种方法并非谁绝对优越，而是在偏差与方差之间做不同选择。

第四个问题是：

看不见完整未来时，我们怎样估计价值？这种估计会付出什么代价？

第四部分将讨论偏差、方差、最大化偏差与致命三角。

6.5 数据问题：学习者为什么改变了自己的数据

在强化学习中，数据不是始终不变的地面。

策略更新后，智能体会走向新的状态，避开旧的状态，也可能进入训练数据从未覆盖的区域。旧经验仍然宝贵，却不再天然服从当前策略的分布。

第五个问题是：

策略改变后，训练数据为什么也会随之改变？旧数据还能使用到什么程度？

第五部分将讨论非平稳性、On-Policy、Off-Policy、经验回放、目标网络与更新约束。

6.6 探索问题：怎样发现未知，又不让系统失控

如果智能体永远只做当前看来最好的事情，它可能永远发现不了更好的选择。

但探索也意味着故意尝试尚未确认的行动。在游戏中，这可能只是少赢几局；在机器人、医疗或大模型系统中，代价可能更加严肃。

第六个问题是：

智能体如何发现未知机会，又如何控制探索带来的风险？

第六部分将讨论探索与利用、深度探索、安全边界和 Offline RL。

7. 三条嵌套的反馈循环

六个问题负责划分全书，但它们不是六座孤岛。

强化学习真正难的地方，在于这些问题被三条反馈循环连接在一起。

7.1 外部交互循环

第一条循环发生在智能体与环境之间：

策略 → 动作 → 环境 → 轨迹与奖励 → 新数据

策略决定动作，动作改变环境，环境产生奖励和新状态。这条循环连接了目标、数据与探索。

如果奖励设计得不好，智能体会朝错误方向行动；如果探索不足，它看不到新的数据；如果环境反馈带有噪声，它看到的世界就会更加模糊。

7.2 时间回传循环

第二条循环发生在时间轴上：

未来奖励与下一状态估计 → 当前价值 → 当前动作判断

未来发生的结果，需要反过来修正我们对当前动作的判断。Bellman 方程、自举、TD Error、GAE 都与这条循环有关。

它带来了强化学习最典型的效率优势，也带来了风险：如果未来价值本身估错了，错误也会被送回现在。

7.3 自我更新循环

第三条循环发生在训练过程中：

样本 → 估计器 → 代理损失 → 参数更新 → 新策略 → 新样本

样本用于形成梯度，梯度更新策略，新策略又决定下一批样本来自哪里。

这条循环使强化学习不再只是一个静态优化问题。它更像一个带有反馈的控制系统：每一次更新都可能改变下一轮更新的条件。

经验回放、目标网络、Clip、KL 惩罚等工程机制，看起来形式不同，却都在尝试让某一条循环不要转得太快，不要把误差放大到失控。

8. 为什么公式不可省略

这本书会尽量用通俗的语言讨论强化学习，但不会绕开公式。

原因很简单：许多真正重要的区别，只存在于公式里。

“关心长期收益”这句话很容易理解，但只有写出

$$G_t=r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\cdots$$

我们才能准确讨论 γ 如何改变时间视野。

“用未来估计现在”这句话很直观，但只有写出 Bellman 方程，我们才能看清自举发生在哪里。

“不要让新策略偏离旧策略太远”听起来合理，但只有写出概率比率、KL 散度和 PPO Clip Objective，我们才能理解约束究竟限制了什么。

公式不是为了让内容显得高深。恰恰相反，公式是为了消除含糊。

但公式也不应该突然从天而降。

本书中的每一条关键公式，都会尽量按照同一个顺序出现：

1. 它试图解决什么问题？
2. 它的直觉是什么？
3. 完整公式是什么？
4. 每个符号代表什么？
5. 它从哪里推导出来？
6. 某一项变化时，系统会怎样变化？
7. 能否用一个最小例子手算一次？
8. 它解决不了什么？

先看见问题，再进入公式；走出公式之后，再回到全景图。

9. 阅读这本书的方法

这本书不是一张从第一页单向延伸到最后一页的直线地图。

它更像一张会被反复展开的全景图。

前六部分分别拆解六个核心问题。第七部分把常见算法重新放回图中，观察它们如何组合这些问题。第八部分进入大模型后训练，观察经典矛盾如何以新的形式再次出现。

读到任何新算法时，都可以暂时放下它复杂的名字，先问六个问题：

1. 它最终想优化什么？
2. 它如何让未来影响现在？
3. 它怎样完成一次参数更新？
4. 它显式或隐式估计了什么？
5. 它依赖什么数据，数据会怎样漂移？
6. 它如何探索，又如何限制探索？

如果能回答这六个问题，一个新算法就不再是一堆孤立公式，而是全景图中的一个位置。

下一章，我们从第一个问题开始：

为什么眼前的奖励不够？

第一部分：我们究竟在优化什么

第 1 章：长期回报：为什么眼前的奖励不够

1. 一个看似聪明的错误

假设一个机器人站在仓库里，需要把货物送到终点。

它面前有两条路：

• 路线 A 很平坦，每走一步都能获得一点小奖励，但最终会绕进死胡同；
• 路线 B 开始时需要绕行，前几步甚至会受到轻微惩罚，但最终能更快抵达终点，获得一笔很大的奖励。

如果机器人只比较眼前一步，它会毫不犹豫地选择路线 A。

它每一步似乎都做对了，却永远到不了真正值得去的地方。

这不是一个边缘问题，而是强化学习的起点。下棋、机器人控制、推荐系统、自动驾驶和语言模型推理，都可能遇到同一种困难：

当前看起来最好的动作，未必带来最好的长期结果。

因此，强化学习不能只回答“这一步奖励是多少”，而要回答一个更难的问题：

从现在开始，如果继续行动下去，未来一共能够获得多少收益？

2. 从单步奖励到轨迹

强化学习中的智能体不会只行动一次。

在时刻 t，智能体观察状态 s_t，选择动作 a_t。环境收到动作后，给出奖励 r_t，并转移到下一个状态 s_{t+1}。

这个过程可以写成：

$$s_t \xrightarrow{a_t,;r_t} s_{t+1}$$

如果连续展开，就得到一条轨迹：

$$\tau=(s_0,a_0,r_0,s_1,a_1,r_1,\ldots,s_T)$$

这里：

在下棋任务中，s_t 可以是一盘棋当前的局面，a_t 是一次落子，r_t 可能直到棋局结束才出现。

在语言模型中，s_t 可以理解为提示词与已经生成的 Token，a_t 是下一个 Token，r_t 可能来自最终答案是否正确，也可能来自人类偏好或规则验证器。

单步奖励 r_t 只是轨迹中的局部信号。真正决定一项策略好坏的，是整条轨迹的后果。

图 1-1：即时奖励与长期回报

3. 回报：把未来带回现在

3.1 最简单的累计奖励

如果一条轨迹在时刻 T 结束，从时刻 t 开始，最直接的累计奖励可以写成：

$$G_t=r_t+r_{t+1}+r_{t+2}+\cdots+r_{T-1}$$

使用求和符号，写法更紧凑：

$$G_t=\sum_{k=0}^{T-t-1}r_{t+k}$$

这个量称为回报（return）。

公式逐项解释如下：

当 k=0 时，公式取到当前奖励 r_t；当 k=1 时，取到下一步奖励 r_{t+1}；依次类推，直到轨迹结束。

它表达了一个朴素但关键的思想：

判断当前动作，不能只看当前发生了什么，还要看它把智能体带向了怎样的未来。

3.2 为什么要引入折扣

在许多任务中，未来奖励会被折扣。

折扣回报写成：

$$G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

展开后是：

$$G_t =r_t+\gamma r_{t+1}+\gamma^2r_{t+2} +\cdots+\gamma^{T-t-1}r_{T-1}$$

其中，γ 是折扣因子（discount factor），通常满足：

$$0\leq\gamma\leq 1$$

γ 决定了遥远未来的奖励在当前判断中占多大分量。

• 当前奖励 r_t 的权重是 1；
• 下一步奖励 r_{t+1} 的权重是 γ；
• 再下一步奖励 r_{t+2} 的权重是 γ^2；
• 越遥远的奖励，权重通常越小。

如果任务没有明确终点，常见写法是：

$$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

只要奖励有界且 γ<1，这个无穷级数通常就能保持有限。折扣因此不仅表达对未来的重视程度，也为持续任务提供了数学上的可控性。

4. 手算一次：两条路线，哪一条更好

回到仓库机器人。

假设机器人在起点有两种选择：

路线 A：眼前舒服，但进入死胡同

三步奖励为：

$$(r_0,r_1,r_2)=(2,2,0)$$

路线 B：开始绕行，但最终抵达终点

三步奖励为：

$$(r_0,r_1,r_2)=(-1,0,10)$$

假设折扣因子为：

$$\gamma=0.9$$

路线 A 的回报为：

$$\begin{aligned} G_0^{A} &=2+0.9\times2+0.9^2\times0\ &=2+1.8\ &=3.8 \end{aligned}$$

路线 B 的回报为：

$$\begin{aligned} G_0^{B} &=-1+0.9\times0+0.9^2\times10\ &=-1+8.1\ &=7.1 \end{aligned}$$

如果只看第一步：

$$2>-1$$

路线 A 明显更诱人。

但如果看长期回报：

$$7.1>3.8$$

路线 B 才是更好的选择。

这正是强化学习必须引入回报 G_t 的原因。

5. 折扣因子 γ 的三层含义

折扣因子经常被当作一个需要调节的超参数。但如果只把它理解为“未来奖励乘一个系数”，就会低估它的重要性。

γ 至少有三层含义。

5.1 第一层：时间偏好

未来越远，不确定性通常越高。即使两笔奖励名义上相同，较早得到的奖励往往更加可靠。

例如：

• 今天拿到 100 元；
• 十年后可能拿到 100 元。

在现实中，这两件事很难被视为完全等价。

γ 可以表达这种对较近未来的偏好。

5.2 第二层：有效视野

当 γ<1 时，遥远奖励的权重会指数衰减。

一个常见的粗略理解是：

$$\mathrm{有效视野}\approx\frac{1}{1-\gamma}$$

这不是严格边界，而是帮助建立直觉的估计。

例如：

当 γ 从 0.9 调到 0.99 时，变化并不是“只增加了 0.09”。智能体实际需要关注的时间跨度可能扩大一个数量级。

这会显著增加信用分配和价值估计的难度。

5.3 第三层：数学收敛

对于持续运行、没有天然终点的任务，如果奖励始终存在，直接累加可能得到无穷大。

假设每一步奖励恒为 1：

$$r_t=1$$

不折扣时：

$$1+1+1+\cdots$$

显然发散。

当 $0\leq\gamma<1$ 时：

$$G_t = 1 + \gamma + \gamma^2 + \gamma^3 + \cdots = \frac{1}{1 - \gamma}$$

这是一个有限值。

因此，γ 也帮助我们为持续任务定义一个可计算的目标。

6. γ 不是越大越好

既然长期规划很重要，是否应该总把 γ 设置得尽量接近 1？

不一定。

较大的 γ 确实让智能体更加重视遥远未来，但也会带来代价：

1. 更遥远的奖励更难归因到当前动作；
2. 价值估计需要跨越更长时间传播；
3. 环境噪声会积累；
4. 自举误差可能传播得更远；
5. 训练方差可能变大。

较小的 γ 更容易训练，却可能使智能体过于短视。

因此，γ 不是单纯的“耐心程度”，而是任务视野、估计难度与训练稳定性之间的旋钮。

这一点会在后续章节反复出现：

• 第 4 章讨论信用分配；
• 第 5 章讨论自举；
• 第 7 章讨论偏差与方差；
• 第 9 章讨论误差如何被循环放大。

一个超参数背后，往往连接着整张全景图。

7. 策略：智能体如何行动

有了回报，我们还需要定义策略。

策略（policy）通常写作：

$$\pi(a\mid s)$$

它表示：

在状态 s 下，智能体选择动作 a 的概率。

公式中的竖线 | 可以读作“在给定……的条件下”。

因此：

$$\pi(a\mid s)$$

可以读作：

给定状态 s，选择动作 a 的条件概率。

如果一个智能体在某个路口有三个选择：

那么它的策略不是一条固定命令，而是一个概率分布。

策略也可以是确定性的。确定性策略常写为：

$$a=\mu(s)$$

它表示在状态 s 下，直接输出一个动作 a。

随机策略与确定性策略各有用途。随机性可以帮助探索，也可以表达环境或决策中的不确定性。后续讨论探索、策略梯度和大模型采样时，我们会不断回到这一点。

8. 环境也参与生成轨迹

策略不是轨迹的唯一来源。

即使智能体在某个状态采取相同动作，环境也可能随机转移到不同状态。

环境动力学通常写作：

$$P(s_{t+1}\mid s_t,a_t)$$

它表示：

在状态 s_t 下采取动作 a_t 后，环境转移到状态 s_{t+1} 的概率。

因此，一条轨迹由三部分共同塑造：

1. 初始状态从哪里来；
2. 策略如何选择动作；
3. 环境如何产生下一个状态。

轨迹概率可以写成：

$$p_\pi(\tau)=\rho_0(s_0)\prod_{t=0}^{T-1} \pi(a_t\mid s_t)P(s_{t+1}\mid s_t,a_t)$$

逐项解释如下：

这条公式非常重要。

它告诉我们：

当策略 π 改变时，轨迹分布 p_π(τ) 也会改变。

这正是第五部分“学习者改变了自己的数据”的数学起点。

在监督学习中，我们通常把数据分布视为外部给定；在强化学习中，策略本身参与生成数据。

9. 目标函数：什么叫“更好的策略”

现在可以准确写出强化学习的目标。

一种策略是否优秀，不能只看一条轨迹，因为环境可能随机，策略本身也可能随机。我们需要比较许多可能轨迹上的平均回报。

目标函数写作：

$$J(\pi) = E_{\tau}[ \sum_{t=0}^{T-1} \gamma^t r_t ]$$

更简洁地写：

$$J(\pi)=\mathbf{E}_{\tau \sim \pi}[G_0]$$

两种写法表达同一件事。

逐项解释如下：

用一句话概括：

强化学习要寻找一种策略，使它在许多可能经历中获得更高的长期回报。

理想目标写成：

$$\pi^*=\arg\max_\pi J(\pi)$$

这里：

注意，arg max 返回的不是最大分数本身，而是“哪一种策略能够得到最大分数”。

10. 为什么目标函数还不够

写出

$$\pi^*=\arg\max_\pi J(\pi)$$

并不意味着问题已经解决。

这条公式只告诉我们终点在哪里，却没有告诉我们怎样走过去。

现实中还存在许多困难：

1. 我们通常不知道完整的环境转移规律；
2. 一条轨迹可能很长；
3. 奖励可能稀疏；
4. 同一策略产生的轨迹也有随机性；
5. 策略改变后，轨迹分布也会改变；
6. 神经网络参数数量巨大，不可能枚举所有策略。

因此，后续算法必须继续回答：

• 如何估计未来回报？
• 如何把迟到的奖励分给此前动作？
• 如何构造可以用于梯度下降的代理损失？
• 如何控制数据分布漂移？
• 如何探索尚未出现过的轨迹？

目标函数不是答案，而是所有答案必须服从的起点。

11. Episodic 与 Continuing Tasks

不同任务的时间结构并不相同。

11.1 有终点的任务

有些任务会自然结束，称为 episodic tasks。

例如：

• 一盘棋结束；
• 一局游戏结束；
• 机器人完成一次抓取；
• 语言模型生成 [EOS]，完成一次回答。

此时，轨迹长度有限：

$$\tau=(s_0,a_0,r_0,\ldots,s_T)$$

回报可以写成有限求和：

$$G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

11.2 持续运行的任务

有些任务没有天然终点，称为 continuing tasks。

例如：

• 长期运行的推荐系统；
• 数据中心能耗控制；
• 交通信号调度；
• 持续运行的工业设备。

此时，常见目标是折扣回报：

$$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

另一条重要路线是平均奖励：

$$\bar{r} =\lim_{T\to\infty} \frac{1}{T} \mathbf{E} [ \sum_{t=0}^{T-1}r_t ]$$

平均奖励视角关心长期每一步平均能获得多少收益。

本书主体会以折扣回报为主，因为它是最常见的入门与工程框架。但平均奖励提醒我们：

“长期目标”并不只有一种数学写法。选择哪种目标，本身就是任务建模的一部分。

12. 边界：长期回报不是万能答案

回报 G_t 和目标函数 J(π) 建立了强化学习的数学起点，但它们并没有自动解决所有问题。

首先，奖励必须被定义。一个目标如果无法被准确写进奖励函数，智能体可能优化一个错误代理。下一章将讨论这个问题。

其次，期望回报可能掩盖风险。

假设有两种策略：

• 策略 A：始终获得 5 分；
• 策略 B：一半概率获得 20 分，一半概率获得 -10 分。

两者期望相同：

$$\mathbf{E}[G^A]=5$$

$$\mathbf{E}[G^B] =0.5\times20+0.5\times(-10) =5$$

但在医疗、金融或真实机器人系统中，它们显然不一定等价。

这说明期望回报不是价值判断的全部。风险敏感目标、安全约束和多目标优化，可能需要进一步进入系统。

最后，长期回报也不等于长期真实价值。

如果奖励只是代理，累计代理奖励再精确，也可能偏离真实意图。

这正是下一章的主题：

奖励不是目的，而是对目的的一次翻译。

13. 回归全景图（Callback）

本章建立的是全书的第一个坐标轴：目标。

本章没有解决强化学习问题。它只是明确了所有算法必须共同服从的起点：不要被眼前奖励迷惑，要判断一个策略会把智能体带向怎样的长期未来。

14. 本章小结

这一章只做了三件事。

第一，我们把单步奖励扩展为长期回报：

$$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

第二，我们用策略与环境共同生成的轨迹分布描述交互过程：

$$p_\pi(\tau)=\rho_0(s_0)\prod_{t=0}^{T-1} \pi(a_t\mid s_t)P(s_{t+1}\mid s_t,a_t)$$

第三，我们定义了策略优化目标：

$$\pi^*=\arg\max_\pi \mathbf{E}_{\tau \sim \pi}[G_0]$$

接下来，我们必须面对一个更棘手的问题：

如果奖励本身写错了，智能体是否会非常认真地走向错误方向？

第 2 章：奖励不是目的：如何把意图翻译成数字

1. 一个认真完成错误任务的机器人

假设我们要训练一个清洁机器人。

最直接的想法是：每清理掉一块垃圾，就给机器人 +1 分。

训练一段时间后，机器人确实越来越擅长得分。但工程师很快发现一个奇怪现象：机器人开始把已经收集起来的垃圾重新撒到地上，然后再次清理。

它没有偷懒。

恰恰相反，它非常勤奋。它准确理解了系统给出的数字规则，并找到一种高效得分方式。

问题在于，我们真正希望它完成的是：

让房间长期保持整洁。

而我们实际写入系统的奖励却是：

每发生一次清理动作，就增加分数。

这两个目标看起来相近，却并不相同。

当智能体还不够强时，这种差异可能不明显。随着优化能力增强，智能体越来越擅长寻找奖励函数中的漏洞。它会认真、持续、甚至富有创造力地优化我们写下的数字，而不是优化我们没有写下的真实意图。

这就是本章的核心问题：

奖励不是目的。奖励只是我们对目的的一次翻译。

2. 上一章的公式隐藏了什么

上一章定义了策略目标：

$$J(\pi) =\mathbf{E}{\tau \sim \pi} [ \sum{t=0}^{T-1} \gamma^t r_t ]$$

我们希望找到最优策略：

$$\pi^*=\arg\max_\pi J(\pi)$$

这些公式没有错，但它们隐藏了一个前提：

奖励 r_t 已经正确表达了我们真正想要的东西。

现实中，这个前提经常不成立。

更准确地说，人类通常有一个真实意图，但系统只能接收一个可计算奖励。

我们可以将真实意图抽象地写为：

$$U(\tau)$$

其中，U 表示一条轨迹 τ 对人类而言究竟有多好。这里的 U 可以理解为真实效用（utility）。

但在工程系统中，我们通常无法直接计算 U(τ)。于是，只能设计一个奖励函数：

$$R(s_t,a_t,s_{t+1})$$

并令：

$$r_t=R(s_t,a_t,s_{t+1})$$

逐项解释如下：

真正理想的目标是：

$$\max_\pi \mathbf{E}_{\tau \sim \pi} [U(\tau)]$$

但系统实际优化的往往是：

$$\max_\pi \mathbf{E}{\tau \sim \pi} [ \sum{t=0}^{T-1} \gamma^t R(s_t,a_t,s_{t+1}) ]$$

这两个目标之间存在一道缝隙。

奖励设计的全部困难，都发生在这道缝隙中。

3. 从真实意图到可计算奖励

3.1 为什么不能直接写下“做好”

人类很容易用自然语言表达意图：

• 让机器人安全、快速地抵达终点；
• 让推荐系统提供真正有价值的内容；
• 让游戏智能体赢得比赛；
• 让语言模型给出正确、有帮助、诚实且表达清晰的回答。

但优化器无法直接处理“安全”“价值”“有帮助”这样的自然语言概念。它需要数字。

于是，工程师必须把复杂意图翻译为可以测量的信号。

以机器人导航为例，一个简单奖励函数可能是：

$$r_t= \begin{cases} +100, & \mathrm{到达终点}\ -10, & \mathrm{发生碰撞}\ -1, & \mathrm{每经过一个时间步} \end{cases}$$

这个奖励设计试图表达三件事：

1. 到达终点是最重要的；
2. 碰撞需要避免；
3. 在安全前提下，越快到达越好。

但每一个数字都带有设计者的判断。

为什么终点奖励是 +100，不是 +20？为什么碰撞是 -10，不是 -200？为什么每一步需要扣 1 分？

这些数字会改变策略。

奖励不是对世界的被动描述，而是在主动塑造智能体将成为什么样子。

3.2 多目标奖励

真实任务通常包含多个目标。

我们经常把奖励写成加权和：

$$r_t = w_1r_t^{(1)} +w_2r_t^{(2)} +\cdots +w_nr_t^{(n)}$$

也可以简写为：

$$r_t = \sum_{i=1}^n w_i r_t^{(i)}$$

这里：

例如，一个机器人走路任务可能写成：

$$r_t = w_{\mathrm{speed}}r_t^{\mathrm{speed}} -w_{\mathrm{energy}}r_t^{\mathrm{energy}} -w_{\mathrm{fall}}r_t^{\mathrm{fall}}$$

它同时考虑：

• 前进速度；
• 能耗；
• 是否摔倒。

这个公式很常见，也很危险。

如果速度权重太大，机器人可能学会一种摇摇晃晃但冲得很快的步态。如果能耗惩罚太强，它可能宁愿不动。如果摔倒惩罚太弱，它可能不断冒险。

多目标奖励看似只是几个数字相加，实际上是在做价值排序。

4. Goodhart 定律：当指标成为目标

有一句经常被引用的话：

当一个指标成为目标，它就不再是一个好的指标。

这通常被称为 Goodhart 定律。

它并不是说指标没有用，而是提醒我们：

衡量真实目标的代理，一旦被强力优化，就可能与真实目标分离。

我们可以用一个简化关系表达：

$$M(\tau)\approx U(\tau)$$

其中：

问题在于，训练不会停留在“普通情况”。优化器会不断寻找能让指标更高的轨迹。

我们最终优化的是：

$$\arg\max_\tau M(\tau)$$

但真正想要的是：

$$\arg\max_\tau U(\tau)$$

二者未必相同：

$$\arg\max_\tau M(\tau)\neq \arg\max_\tau U(\tau)$$

这条不等式值得反复记住。

一个指标在常规范围内与真实目标高度相关，并不意味着在极端优化后仍然可靠。

图 2-1：真实意图、奖励代理与 Reward Hacking

5. Reward Hacking：优化器不会替你理解常识

Reward Hacking 可以翻译为“奖励黑客”或“奖励投机”。它指的是：

智能体找到一种提高奖励的方法，但这种方法违背了设计者真正想要的行为。

这里的“黑客”不一定带有主观恶意。

智能体并不是先理解我们的真实意图，再故意违背它。更常见的情况是：系统从一开始就只看得见奖励，而看不见我们没有写进去的常识。

5.1 重复刷分

清洁机器人把垃圾重新撒到地上再清理，是最直观的例子。

如果奖励设计为：

$$r_t= \begin{cases} +1, & \mathrm{清理一块垃圾}\ 0, & \mathrm{其他情况} \end{cases}$$

那么机器人重复制造并清理垃圾，确实能够最大化奖励。

解决方法不是责怪智能体“钻空子”，而是重新审视奖励：我们真正关心的是清洁状态，而不是清洁动作发生的次数。

更合理的信号可能与房间中剩余垃圾数量相关：

$$r_t = N_{\mathrm{trash}}(s_t)-N_{\mathrm{trash}}(s_{t+1})$$

其中：

5.2 钻模拟器漏洞

在仿真环境中，智能体可能找到物理引擎的漏洞。

例如，机器人不按预期方式走路，而是利用碰撞检测误差快速向前移动。游戏智能体不完成任务，而是反复触发一个可以刷分的事件。

这类行为说明：

奖励函数与环境实现共同定义了智能体眼中的世界。

只检查奖励公式还不够。模拟器漏洞、终止条件和传感器盲区，也可能成为优化对象。

5.3 大模型中的 Reward Hacking

在语言模型中，奖励投机可能更加隐蔽。

如果 Reward Model 偏好长回答，策略可能学会堆砌内容。如果评价器偏好某种礼貌措辞，模型可能反复使用固定话术。如果验证器只检查最终答案格式，模型可能找到格式层面的捷径。

表面上，奖励在提高；实际质量却没有同步提高。

因此，大模型后训练仍然面临同一个老问题：

代理评价是否真的代表我们想要的能力？

6. Sparse Reward：奖励太少时，智能体学不到方向

奖励函数并不是越克制越好。

假设一个迷宫任务只在抵达终点时给出奖励：

$$r_t= \begin{cases} +1, & \mathrm{抵达终点}\ 0, & \mathrm{其他情况} \end{cases}$$

如果迷宫很大，智能体在训练初期可能几乎从未抵达终点。

于是，它看到的大量轨迹都长这样：

$$(0,0,0,\ldots,0)$$

从这些数据中，智能体很难判断哪个动作稍微更好。

这就是稀疏奖励（sparse reward）问题。

它揭示了奖励设计的另一面：

• 奖励过于复杂，可能被投机；
• 奖励过于稀疏，又可能无法提供学习方向。

奖励设计需要在表达真实目标与提供可学习信号之间做平衡。

7. Reward Shaping：为稀疏奖励增加路标

为了帮助智能体学习，我们经常加入额外奖励。这称为 Reward Shaping。

假设原始奖励为：

$$R(s,a,s')$$

加入 shaping 项后：

$$R'(s,a,s')= R(s,a,s')+F(s,a,s')$$

其中：

例如，在迷宫中，可以根据距离终点是否缩短给予额外分数：

$$F(s_t,a_t,s_{t+1})= d(s_t,\mathrm{goal})-d(s_{t+1},\mathrm{goal})$$

如果机器人更靠近终点，奖励为正；如果远离终点，奖励为负。

这样，即使还没有真正到达终点，智能体也能得到方向提示。

7.1 Reward Shaping 的风险

问题在于，路标也可能改变目的地。

假设迷宫中有一堵墙。最短路线需要先远离终点，再绕过墙壁。如果奖励始终鼓励“每一步都更靠近终点”，智能体可能被困在墙边，不愿意暂时后退。

Reward Shaping 不是免费的。

它可以降低学习难度，也可能改变最优策略。

8. Potential-Based Reward Shaping

有一种经典设计可以在一定条件下避免改变最优策略，称为 Potential-Based Reward Shaping。

定义一个势函数（potential function）：

$$\Phi(s)$$

它为每个状态赋予一个“潜在位置”或“启发式进度”。

shaping 项写成：

$$F(s_t,a_t,s_{t+1})= \gamma\Phi(s_{t+1})-\Phi(s_t)$$

新的奖励为：

$$R'(s_t,a_t,s_{t+1})= R(s_t,a_t,s_{t+1})+\gamma\Phi(s_{t+1})-\Phi(s_t)$$

逐项解释：

直觉是：

智能体不是因为停留在某个看似不错的位置反复刷分，而是因为势能发生变化才得到额外奖励。

为什么这种形式特别？

将 shaping 奖励沿轨迹累加：

$$\sum_{t=0}^{T-1} \gamma^t F(s_t,a_t,s_{t+1})$$

代入定义：

$$\sum_{t=0}^{T-1} \gamma^t [ \gamma\Phi(s_{t+1})-\Phi(s_t) ]$$

展开前几项：

-Φ(s₀) + γ Φ(s₁)
-γ Φ(s₁) + γ² Φ(s₂)
-γ² Φ(s₂) + γ³ Φ(s₃)

中间项会成对抵消，最后剩下：

$$-\Phi(s_0)+\gamma^T\Phi(s_T)$$

这种结构称为 telescoping sum，可以理解为“望远镜式抵消”。

在适当条件下，这个额外项不会改变不同策略之间真正的最优排序，只会改变学习过程中的局部信号。

这提醒我们：

好的 Reward Shaping 不是随意多给分，而是尽量在不改变问题本质的前提下，让学习路径更清晰。

9. 奖励设计不是 Loss 设计

奖励函数和损失函数容易被混淆。

它们都可能出现在训练代码中，也都影响模型更新。但它们位于不同层次。

奖励属于“目标问题”。

损失属于“更新问题”。

它们相互连接，但不是同一件事。

例如，机器人导航中，终点奖励、碰撞惩罚和时间惩罚属于奖励设计；而用于训练价值网络的 TD Loss 属于损失函数设计。

到了大模型后训练中，这一区分更加重要：

• 人类偏好或规则验证器参与定义奖励；
• Reward Model 估计偏好奖励；
• PPO、DPO 或 GRPO 再决定如何形成更新。

如果不分层，许多概念会搅在一起。

10. 当奖励来自人类偏好

在大模型对齐中，我们很难为“一个回答有多好”写出完全准确的规则。

一种常见办法是让人类比较两个回答：

• 回答 y_w 更好；
• 回答 y_l 较差。

其中，w 代表 winner，l 代表 loser。

我们可以训练一个 Reward Model：

$$r_\phi(x,y)$$

它接收提示词 x 和回答 y，输出一个分数。

常见偏好模型写成：

$$P(y_w\succ y_l\mid x)= \sigma ( r_\phi(x,y_w)-r_\phi(x,y_l))$$

逐项解释如下：

如果：

$$r_\phi(x,y_w)-r_\phi(x,y_l)$$

很大，那么模型认为 y_w 更可能胜出。

这使“偏好”变成了可计算信号。

但它没有彻底解决奖励问题。

Reward Model 仍然只是代理。它依赖有限数据，可能学到表面相关性，也可能在策略分布发生变化后失去可靠性。

这一问题会在第 21 章 RLHF 中详细展开。

11. Verifier：可验证奖励为什么重要

并非所有任务都只能依赖模糊偏好。

有些任务存在相对明确的验证方式：

• 数学题答案是否正确；
• 程序是否通过测试；
• 形式证明是否满足检查器；
• 游戏规则是否满足；
• 工具调用结果是否正确。

此时，可以使用 Verifier 产生奖励。

简化写法是：

$$r(\tau) = \begin{cases} 1, & \mathrm{验证通过}\ 0, & \mathrm{验证失败} \end{cases}$$

可验证奖励有明显优势：

• 标准更加明确；
• 自动化程度更高；
• 不必完全依赖人工偏好；
• 可以扩展到大量样本。

但它也有边界。

验证器只检查自己能够检查的部分。如果评价标准过窄，模型仍然可能学会“通过检查器”，而不是完成更宽泛的真实目标。

测试用例不足的代码生成，就是一个熟悉的例子：程序通过了现有测试，不代表它在所有情况下都正确。

Verifier 让奖励更可靠，却没有取消 Goodhart 定律。

12. 边界：奖励问题不可能被一次性解决

奖励设计没有一个适用于所有任务的万能公式。

原因不是工程师不够聪明，而是很多真实意图本身就难以完全形式化。

奖励设计至少要面对四种张力：

1. 准确性与可计算性：越接近真实价值，往往越难测量；
2. 稀疏性与引导性：奖励越少，越不容易误导，但也越难学习；
3. 局部信号与长期目标：局部奖励越密集，越可能把智能体带向局部最优；
4. 自动评价与人类判断：自动评价扩展性更好，人类判断覆盖面更广，但成本更高，也可能不一致。

真正成熟的系统通常不会只依赖一种奖励来源。

它可能组合：

• 环境反馈；
• 规则约束；
• 人类偏好；
• Reward Model；
• Verifier；
• 安全约束；
• 人工审核。

问题并没有消失，只是被分配到不同组件中。

13. 回归全景图（Callback）

本章进一步展开了第一个坐标轴：目标。

本章没有找到完美奖励。它建立了一个更重要的判断：当一个智能体表现异常时，不要只问“算法哪里错了”，还要问“我们究竟奖励了什么”。

14. 本章小结

这一章从一个清洁机器人的刷分行为出发，讨论了奖励与真实意图之间的裂缝。

理想目标是：

$$\max_\pi \mathbf{E}_{\tau \sim \pi} [U(\tau)]$$

实际系统通常优化：

$$\max_\pi E_{\tau \sim \pi} [ \sum_{t=0}^{T-1} \gamma^t R(s_t,a_t,s_{t+1}) ]$$

奖励设计的任务，是让可计算代理 R 尽可能接近真实意图 U。

但代理一旦被强力优化，就可能与真实目标分离：

$$\arg\max_\tau M(\tau)\neq \arg\max_\tau U(\tau)$$

Reward Shaping 可以帮助稀疏奖励任务学习。Potential-Based Reward Shaping 使用：

$$F(s_t,a_t,s_{t+1})= \gamma\Phi(s_{t+1})-\Phi(s_t)$$

在适当条件下，它能够提供路标，同时尽量不改变最优策略。

下一章，我们进入第二个核心问题：

如果奖励发生在未来，未来究竟如何返回现在？

第二部分：未来如何返回现在

第 3 章：Bellman 方程：用未来重新定义现在

1. 还没有走完，怎样判断现在

上一章留下了一个问题。

如果奖励发生在未来，智能体在当前时刻怎样判断一个状态好不好？

想象一个站在岔路口的人。

他还没有真正走完每一条路，却必须现在做出选择。某条路眼前平坦，稍后却通向拥堵；另一条路开始绕行，之后却更快抵达终点。

如果每次判断都必须亲自把所有道路走到尽头，再回来重新选择，学习会非常低效。

强化学习需要一种更聪明的方法：

用对未来的判断，帮助评价现在。

Bellman 方程正是这件事的数学表达。

它不是某个特定算法的技巧，而是强化学习中最重要的递归结构之一。TD、Q-Learning、DQN、Actor-Critic、PPO 中的 Critic，甚至许多大模型后训练方法背后的价值估计，都与它有关。

2. 从回报的递归关系开始

上一章定义了折扣回报：

$$G_t = r_t +\gamma r_{t+1} +\gamma^2r_{t+2} +\gamma^3r_{t+3} +\cdots$$

将第一项单独拿出来：

$$G_t = r_t +\gamma ( r_{t+1} +\gamma r_{t+2} +\gamma^2r_{t+3} +\cdots )$$

括号中的内容是什么？

它恰好是从下一时刻开始计算的回报：

$$G_{t+1} = r_{t+1} +\gamma r_{t+2} +\gamma^2r_{t+3} +\cdots$$

因此：

$$G_t=r_t+\gamma G_{t+1}$$

这是本章第一条关键公式。

它看起来朴素，却包含了 Bellman 思想的核心：

从现在开始的长期回报，等于眼前奖励，加上折扣后的未来回报。

逐项解释：

这条公式把一段很长的未来，折叠成了两部分：

1. 眼前看得见的奖励；
2. 下一步之后的全部未来。

未来没有消失，只是被压缩了。

3. 状态价值：站在这里，未来大概有多好

实际学习时，智能体通常不知道一条尚未走完的轨迹最终会得到多少回报。

但它可以估计：

在当前状态下，按照某种策略继续走，平均能够获得多少长期回报？

这就是状态价值函数（state-value function）。

对策略 π，状态价值定义为：

$$V^\pi(s) = \mathbf{E}_\pi [ G_t \mid S_t=s ]$$

读作：

在时刻 t 处于状态 s 的条件下，如果之后遵循策略 π，未来回报 G_t 的期望是多少？

逐项解释：

为什么需要期望？

因为未来通常不唯一。

同一个状态下，策略可能随机选择不同动作；即使动作相同，环境也可能随机转移到不同结果。价值函数不是预测唯一结局，而是在许多可能未来上取平均。

3.1 一个直观例子

假设一个机器人站在仓库入口。

• 有 80% 的概率顺利通过走廊，最终获得 10 分；
• 有 20% 的概率遇到临时障碍，只获得 2 分。

那么入口状态的价值可以粗略估计为：

$$V^\pi(s) = 0.8\times10 +0.2\times2 =8.4$$

状态价值不是“必然会拿到多少分”，而是“从这里出发，平均值得期待多少分”。

4. 动作价值：在这里做这件事，未来大概有多好

只知道状态价值还不够。

智能体做决策时，需要比较不同动作。

动作价值函数（action-value function）定义为：

$$Q^\pi(s,a) = \mathbf{E}_\pi [ G_t \mid S_t=s,; A_t=a ]$$

它表示：

在状态 s 下先采取动作 a，之后继续遵循策略 π，未来平均能够获得多少回报？

逐项解释：

状态价值与动作价值的差别可以用一句话说明：

• V^π(s) 问：站在这里，未来总体怎么样？
• Q^π(s,a) 问：站在这里，如果先做这件事，未来怎么样？

如果策略是随机策略，那么状态价值可以看作动作价值的加权平均：

$$V^\pi(s)= \sum_a \pi(a\mid s)Q^\pi(s,a)$$

这里：

如果某个动作出现概率更高，它对状态价值的影响就更大。

5. Bellman 期望方程：未来价值返回现在

现在将两条定义连接起来。

我们已经知道：

$$G_t=r_t+\gamma G_{t+1}$$

状态价值定义为：

$$V^\pi(s) = \mathbf{E}_\pi [ G_t \mid S_t=s ]$$

将递归形式代入：

$$V^\pi(s) = E_\pi [ r_t + \gamma G_{t+1} \mid S_t = s ]$$

由于：

$$E_\pi [ G_{t+1} \mid S_{t+1} = s' ] = V^\pi(s')$$

可以得到：

$$V^\pi(s) = E_{a \sim \pi,, s' \sim P} [ r + \gamma V^\pi(s') \mid s ]$$

这就是 Bellman 期望方程的一种写法。

它表达：

当前状态的价值，等于当前可能得到的奖励，加上折扣后的下一状态价值，再对所有可能动作和环境转移取平均。

图 3-1：Bellman 方程的递归结构

5.1 将期望完全展开

如果希望看得更具体，可以将期望展开为求和：

$$V^\pi(s)= \sum_a \pi(a\mid s)\sum_{s',r} p(s',r\mid s,a)[ r+\gamma V^\pi(s') ]$$

逐项解释：

这条公式可以从左到右读：

1. 站在状态 s；
2. 根据策略选择动作 a；
3. 环境可能产生不同奖励 r 和下一状态 s'；
4. 每一种可能未来都有自己的概率；
5. 对所有可能未来取加权平均。

6. 手算一次：从终点倒推起点

考虑一个极简任务：

s_0 → s_1 → terminal

在状态 s_1，智能体只有一个动作。执行后到达终点，奖励为 10。

因此：

$$V^\pi(s_1) = 10+\gamma\times0 =10$$

为什么终点价值是 0？

因为任务已经结束，后面不再有奖励。

现在回到状态 s_0。从 s_0 到 s_1 的即时奖励为 1。假设：

$$\gamma=0.9$$

那么：

$$\begin{aligned} V^\pi(s_0)&= 1+0.9V^\pi(s_1)\ &= 1+0.9\times10\ &= 10 \end{aligned}$$

这个过程很像从终点向起点倒推。

终点告诉 s_1 自己有多好；s_1 的价值再返回 s_0，帮助我们判断更早的状态。

未来就这样进入了现在。

6.1 加入随机性

假设从 s_0 出发，有两种可能：

• 80% 概率进入 s_1，即时奖励为 1；
• 20% 概率遇到故障并终止，即时奖励为 -2。

那么：

$$\begin{aligned} V^\pi(s_0)&= 0.8 [ 1+0.9V^\pi(s_1) ] +0.2 [ -2+0.9\times0 ]\ &= 0.8\times10 -0.4\ &= 7.6 \end{aligned}$$

价值函数没有假装世界确定不变。

它把不同未来按概率加权，得到平均判断。

7. 动作价值的 Bellman 方程

动作价值也具有递归结构。

在状态 s 下先采取动作 a，得到奖励 r，进入下一状态 s'。之后，策略继续选择后续动作 a'。

因此：

$$Q^\pi(s,a)= \mathbf{E} [ r+\gamma Q^\pi(s',a') ]$$

其中：

$$a' \sim \pi(\cdot\mid s')$$

将期望展开：

$$Q^\pi(s,a)= \sum_{s',r} p(s',r\mid s,a)[ r +\gamma \sum_{a'} \pi(a'\mid s')Q^\pi(s',a') ]$$

这条公式从左到右表达：

1. 当前明确采取动作 a；
2. 环境给出奖励 r 并进入状态 s'；
3. 后续动作 a' 仍然由策略 π 决定；
4. 当前动作价值等于当前奖励加上后续动作价值的平均。

8. 从“评价一个策略”到“寻找最优策略”

到目前为止，我们一直在讨论：

$$V^\pi(s)$$

和：

$$Q^\pi(s,a)$$

它们都带有上标 π，表示：

如果以后继续遵循策略 π，当前状态或动作有多好？

但强化学习通常不只想评价一个已有策略，还希望找到更好的策略。

因此，定义最优状态价值：

$$V^*(s)= \max_\pi V^\pi(s)$$

它表示：

从状态 s 出发，在所有可能策略中，能够达到的最高期望回报是多少？

类似地，最优动作价值定义为：

$$Q^*(s,a)= \max_\pi Q^\pi(s,a)$$

它表示：

在状态 s 下先做动作 a，随后采用最佳策略，最多能够获得多少期望回报？

9. Bellman 最优方程

如果已经知道最优动作价值：

$$Q^*(s,a)$$

那么在下一状态 s'，智能体应该选择价值最高的动作：

$$\max_{a'}Q^*(s',a')$$

于是得到 Bellman 最优方程：

$$Q^(s,a)= \mathbf{E} [ r +\gamma \max_{a'} Q^(s',a') ]$$

逐项解释：

对于状态价值：

$$V^(s)= \max_a \mathbf{E} [ r+\gamma V^(s') \mid s,a ]$$

这两条公式的直觉一致：

当前最优价值，等于选择一个动作后得到的即时奖励，加上下一状态能够实现的最优未来价值。

10. 手算一次：为什么最优动作可能不是即时奖励最高的动作

假设在状态 s_0 有两个动作：

动作 A：立刻得分

• 当前奖励：5
• 执行后终止

因此：

$$Q^*(s_0,A)=5$$

动作 B：先进入新状态

• 当前奖励：1
• 进入状态 s_1
• 已知：

$$V^*(s_1)=10$$

假设：

$$\gamma=0.9$$

那么：

$$Q^*(s_0,B) = 1 + 0.9 V^*(s_1) = 1 + 0.9 \times 10 = 10$$

虽然：

$$5>1$$

但：

$$Q^\ast(s_0,B) \gt Q^\ast(s_0,A)$$

因此，最优动作是 B。

Bellman 方程让智能体不再只看眼前奖励，而是把未来价值纳入当前判断。

11. 固定点：递归不是无限兜圈

看到 Bellman 方程，读者可能会产生一个疑问：

如果 V(s) 依赖 V(s')，而 V(s') 又依赖更后面的价值，这不是永远算不完吗？

关键在于，Bellman 方程定义了一个固定点（fixed point）。

我们可以定义一个 Bellman 算子：

$$(\mathcal{T}^\pi V)(s)= \mathbf{E}_{a \sim \pi,;s'\sim P} [ r+\gamma V(s') \mid s ]$$

这个算子接收一个价值函数 V，输出一个新的价值函数。

真正的策略价值满足：

$$V^\pi = T V^\pi$$

这表示：

将真实价值函数放进 Bellman 算子，输出仍然是它自己。

这就是固定点。

11.1 从错误猜测开始也可以

假设一开始完全不知道价值，可以初始化：

$$V_0(s)=0$$

然后反复更新：

$$V_{k+1} = \mathcal{T}^\pi V_k$$

这里：

如果条件合适，反复应用 Bellman 更新，价值估计会逐渐接近真实价值。

11.2 折扣为什么帮助收敛

当 0≤γ<1 时，Bellman 算子具有压缩性质。直观写法是：

$$\lVert T^{\pi} V - T^{\pi} W \rVert_{\infty} \leq \gamma \lVert V - W \rVert_{\infty}$$

逐项解释：

这条不等式表达：

更新之后，两个价值估计之间的最大差距，最多缩小到原来的 γ 倍。

当：

$$\gamma<1$$

误差会逐渐收缩。

这也是折扣因子另一层重要作用：它不仅控制时间视野，也帮助递归关系稳定下来。

本书不会在这里展开完整证明。此时最重要的是建立固定点直觉：

Bellman 方程不是让价值在无限递归中打转，而是提供一个可以不断逼近的自洽目标。

12. Dynamic Programming：知道环境模型时怎样求价值

如果我们知道完整环境模型：

$$p(s',r\mid s,a)$$

就可以直接使用 Bellman 方程反复更新价值。

这类方法属于动态规划（Dynamic Programming，DP）。

12.1 Policy Evaluation

给定策略 π，反复计算：

$$V_{k+1}(s)= \sum_a \pi(a\mid s)\sum_{s',r} p(s',r\mid s,a)[ r+\gamma V_k(s') ]$$

直到价值基本稳定。

这个过程称为策略评价（Policy Evaluation）。

它回答：

如果继续采用当前策略，每个状态大概有多好？

12.2 Policy Improvement

得到动作价值后，可以在每个状态选择更好的动作：

$$\pi'(s)= \arg\max_a Q^\pi(s,a)$$

这称为策略改进（Policy Improvement）。

它回答：

既然已经知道动作价值，是否可以少做一些差动作，多做一些好动作？

12.3 Policy Iteration

将两步交替进行：

评价当前策略 → 根据价值改进策略 → 再评价新策略 → 再改进

这称为策略迭代（Policy Iteration）。

12.4 Value Iteration

也可以直接反复使用 Bellman 最优更新：

$$V_{k+1}(s)= \max_a \sum_{s',r} p(s',r\mid s,a)[ r+\gamma V_k(s') ]$$

这称为价值迭代（Value Iteration）。

动态规划向我们展示了 Bellman 方程的力量。

但它也依赖一个强条件：完整环境模型必须已知。

13. 现实中的困难：我们通常拿不到完整模型

在现实问题中，我们通常不知道：

$$p(s',r\mid s,a)$$

机器人并不知道每个动作会以多大概率导致每种姿态；推荐系统并不知道每位用户看到某条内容后会做什么；语言模型也无法枚举每个 Token 之后所有可能序列及其评价。

我们拿到的通常只是一次次采样：

$$(s_t,a_t,r_t,s_{t+1})$$

也就是说，我们没有完整地图，只有走过道路后留下的脚印。

这会把问题推向下一章：

当完整未来不可见，我们如何把有限反馈分配给此前动作？

这就是信用分配问题。

再下一章，我们会进一步追问：

能否不用等待整条轨迹结束，就用下一状态的价值估计更新当前价值？

这就是自举，也是 TD Learning 的核心。

14. Bellman 方程的边界

Bellman 方程非常重要，但不能被神化。

14.1 它依赖状态表达

Bellman 递归通常建立在 Markov 假设上：

当前状态已经包含了预测未来所需的有效信息。

如果状态遗漏了重要历史，价值估计就可能不准确。

例如，在部分可观测环境中，机器人看到的当前画面未必足以判断真实位置；在多轮对话中，截断上下文可能丢失关键信息。

此时，需要更丰富的状态表示、记忆机制或 POMDP 框架。

14.2 它没有自动解决奖励问题

Bellman 方程会忠实传播奖励。

如果奖励设计错误，它也会忠实传播错误目标。

递归关系解决的是“未来如何返回现在”，不是“真正应该追求什么”。

14.3 它没有自动解决估计误差

当完整模型未知，我们会使用采样和函数逼近估计 Bellman 目标。

一旦估计有误，误差也可能沿递归关系传播。

Bellman 方程既提供了学习路径，也打开了误差传播的通道。

15. 回归全景图（Callback）

Bellman 方程没有神奇地解决强化学习。它完成了一件更基础的事：将一个跨越整条轨迹的长期目标，折叠成可以逐步向前传递的递归关系。

16. 本章小结

本章从回报的递归关系开始：

$$G_t=r_t+\gamma G_{t+1}$$

定义了状态价值：

$$V^\pi(s) = \mathbf{E}_\pi [ G_t \mid S_t=s ]$$

定义了动作价值：

$$Q^\pi(s,a) = \mathbf{E}_\pi [ G_t \mid S_t=s,; A_t=a ]$$

并得到 Bellman 期望方程：

$$V^\pi(s)= \mathbf{E} [ r+\gamma V^\pi(s') ]$$

以及 Bellman 最优方程：

$$Q^(s,a)= \mathbf{E} [ r +\gamma \max_{a'} Q^(s',a') ]$$

这些公式建立了强化学习最重要的递归结构：

当前价值来自当前奖励，也来自对未来的判断。

下一章继续追问：

当最终结果姗姗来迟时，究竟应该把功劳和责任分给哪些动作？

第 4 章：信用分配：谁应当为结局负责

1. 赢下一盘棋，究竟是哪一步走对了

一盘棋结束了。

智能体赢得比赛，得到奖励：

$$+1$$

此前几十步落子，大多没有即时奖励：

$$0,0,0,\ldots,0,+1$$

现在的问题是：最后的胜利应该归功于哪一步？

也许是最后一步将军。也许是中盘的一次交换。也许是更早之前看似平淡的一步，为后续进攻保留了空间。

如果所有动作都得到同样赞扬，智能体很难真正学会什么。如果只奖励最后一步，又会忽略通往胜利的漫长路径。

这个问题称为信用分配（credit assignment）。

信用分配中的“信用”不只是表扬，也包括责任。一次失败发生后，哪些动作应该被减少？哪些动作虽然出现在失败轨迹中，却其实是正确选择？

这不仅是棋类问题。

• 机器人摔倒前可能已经连续失衡了十几步；
• 推荐系统造成用户流失，原因可能来自更早的一系列内容展示；
• 语言模型最终答错数学题，错误可能出现在中间某一步推理；
• 一个长回答被人类判为低质量，问题可能来自事实错误、结构混乱或语气不当。

强化学习真正困难的部分，往往不是计算梯度，而是回答：

迟到的结果，究竟应该如何分配给此前发生的动作？

2. 三种让学习变难的反馈

信用分配之所以困难，通常因为反馈同时具有三种特点。

2.1 延迟

动作发生后，结果可能很久才出现。

例如，下棋时只有终局胜负；语言模型回答完成后，评价器才给出总分。

如果动作 a_t 的后果在 t+n 时刻才显现，智能体必须跨越时间建立联系。

2.2 稀疏

许多时间步没有奖励。

一条轨迹可能是：

$$(0,0,0,0,0,1)$$

从局部看，前五步没有任何差别。但没有前五步，最后的奖励也不会出现。

2.3 噪声

即使采取同一个动作，结果也可能不同。

环境随机性、其他智能体、人类偏好差异、采样温度和评价器误差，都会使反馈带有噪声。

因此，一次成功不一定证明所有动作都好；一次失败也不一定证明所有动作都坏。

3. Monte Carlo：等结局出现，再回头结算

最直接的办法是等待轨迹结束。

假设一条轨迹为：

$$\tau=(s_0,a_0,r_0,s_1,a_1,r_1,\ldots,s_T)$$

从时刻 t 开始的回报为：

$$G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

在 Monte Carlo 方法中，我们等到整条轨迹完成，再用实际观察到的 G_t 更新此前状态或动作的价值估计。

状态价值更新可以写成：

$$V(s_t)\leftarrow V(s_t)+\alpha [ G_t-V(s_t) ]$$

动作价值更新可以写成：

$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [ G_t-Q(s_t,a_t) ]$$

逐项解释：

括号中的：

$$G_t-V(s_t)$$

表示真实观察回报与旧价值估计之间的差距。

如果实际结果比预期好，价值上调；如果实际结果比预期差，价值下调。

3.1 手算一次

假设一条三步轨迹的奖励为：

$$(r_0,r_1,r_2)=(0,0,10)$$

并且：

$$\gamma=0.9$$

那么：

$$G_2=10$$

$$G_1=0+0.9\times10=9$$

$$G_0=0+0.9\times0+0.9^2\times10=8.1$$

虽然前两步即时奖励都是 0，但 Monte Carlo 回报仍然把终点奖励向前传播：

这是一种最朴素的信用分配。

越靠近终点，奖励折扣越少；越早的动作，得到的信用越弱。

4. Monte Carlo 的优点与代价

Monte Carlo 方法有一个重要优点：

它使用真正观察到的轨迹回报，不需要猜测尚未发生的未来。

但它也有明显代价。

4.1 必须等待终局

如果轨迹很长，就必须等很久。

在下棋中，必须等比赛结束；在语言模型中，通常必须等回答生成完成；在持续运行的系统中，轨迹甚至可能没有天然终点。

4.2 方差可能很大

假设从同一个状态出发，环境有较强随机性。不同轨迹可能得到：

$$G_t^{(1)}=20$$

$$G_t^{(2)}=-5$$

$$G_t^{(3)}=8$$

同一个状态对应的回报波动很大。

Monte Carlo 使用完整轨迹，轨迹中所有随机性都会进入估计结果。它通常偏差较小，但方差较大。

4.3 一次结局会影响很多动作

如果一条长轨迹最后失败，前面所有动作都可能被负回报影响。

但其中一些动作未必错误。它们只是和后面的错误出现在同一条轨迹中。

Monte Carlo 能够传播信用，却不等于完成了精细归因。

5. 信用分配不等于因果解释

这一点值得单独强调。

如果某个动作出现在高回报轨迹中，强化学习可能提高它的价值估计。但这并不自动证明：

这个动作是高回报的真正原因。

在复杂环境中，动作、状态和结果之间可能存在混杂因素。

例如：

• 棋局中，一步进攻出现在胜利轨迹里，但真正关键的是更早的布局；
• 推荐系统中，用户点击某类内容，可能因为内容质量，也可能因为展示位置；
• 语言模型回答获得高分，可能因为事实正确，也可能因为 Reward Model 偏好某种表面风格。

经典 RL 的信用分配主要回答：

哪些动作应该在学习中得到更多或更少权重？

它不一定提供完整的因果解释。

这是理解 Reward Hacking、偏好模型偏差和分布外失效的重要前提。

6. Baseline：不要只问“得了多少分”

假设一个动作最终获得回报：

$$G_t=8$$

这是否说明它很好？

不一定。

如果当前状态下，其他动作平均只能获得 2 分，那么 8 分确实很好。如果其他动作平均能够获得 12 分，那么 8 分反而较差。

因此，评价动作时，仅看绝对回报并不够。还需要比较：

这个动作比当前状态下的平均水平好多少？

一种常见写法是减去 baseline：

$$G_t-b(s_t)$$

其中：

最常见的 baseline 是状态价值：

$$b(s_t)=V(s_t)$$

于是：

$$G_t-V(s_t)$$

表示：

实际结果比站在当前状态下通常能够期待的结果好多少？

这种“相对评价”会在策略梯度、Actor-Critic、GAE、PPO 和 GRPO 中反复出现。

7. Advantage：一个动作比平均水平好多少

将“相对好坏”写成函数，就得到 Advantage Function，通常翻译为优势函数。

定义：

$$A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s)$$

逐项解释：

如果：

$$A^\pi(s,a)>0$$

说明动作 a 比平均水平更好。

如果：

$$A^\pi(s,a)<0$$

说明动作 a 比平均水平更差。

如果：

$$A^\pi(s,a)=0$$

说明它大致符合当前策略的平均水平。

7.1 手算一次

假设在状态 s 下：

$$V^\pi(s)=5$$

两个动作的价值分别为：

$$Q^\pi(s,a_1)=8$$

$$Q^\pi(s,a_2)=3$$

那么：

$$A^\pi(s,a_1)=8-5=3$$

$$A^\pi(s,a_2)=3-5=-2$$

动作 a_1 应该被鼓励，动作 a_2 应该被抑制。

优势函数让信用分配更加精细：

不只是问结果好不好，而是问这个动作是否比当前状态下通常会做的事情更好。

8. Critic：一个学习出来的信用分配器

在 Actor-Critic 架构中：

• Actor 负责选择动作；
• Critic 负责评价状态或动作。

Critic 常常估计：

$$V^\pi(s)$$

或：

$$Q^\pi(s,a)$$

它的作用不是替代最终奖励，而是帮助智能体更快判断：

当前这一步究竟比平均水平好多少？

从信用分配角度看，Critic 可以理解为一个学习出来的中间评价器。

终点奖励可能很迟，但 Critic 尝试在每一个状态给出估计。Actor 不必只等最终结局，而可以根据这些中间判断调整策略。

这会提高效率，也会引入新的风险：

如果 Critic 判断错误，Actor 会被错误信用引导。

第 5 章将讨论 Critic 为什么能够提前评价，以及自举如何让估计更高效，也更危险。

9. 长序列中的信用分配

信用分配在短轨迹中已经不简单，在长序列中更难。

9.1 机器人控制

机器人摔倒可能不是最后一步突然出错，而是更早之前重心逐渐偏移。

如果只处罚摔倒前的最后一个动作，学习信号可能过于局部。

9.2 推荐系统

用户离开平台，原因可能不是最后一条内容，而是一系列低质量推荐累积造成的疲劳。

如果只把责任归给最后一次展示，系统会误判。

9.3 语言模型

语言模型生成一个回答：

$$y=(y_1,y_2,\ldots,y_T)$$

其中，每个 y_t 是一个 Token。

如果评价器只在回答结束后给出一个总分：

$$R(y)$$

那么中间每个 Token 如何获得信用？

例如，一个数学推理回答最终错误：

• 可能是第一个公式抄错；
• 可能是中间一步符号变化错误；
• 可能是最终计算错误；
• 也可能是推理正确，但输出格式没有通过验证器。

序列级奖励无法自动告诉我们错误发生在哪里。

10. Outcome Reward 与 Process Reward

在长序列任务中，可以区分两种奖励。

10.1 Outcome Reward

Outcome Reward 只评价最终结果。

例如：

$$R_{\mathrm{outcome}}(y) = \begin{cases} 1, & \mathrm{最终答案正确}\ 0, & \mathrm{最终答案错误} \end{cases}$$

优点：

• 标准明确；
• 自动验证相对容易；
• 不需要标注每一步。

缺点：

• 奖励稀疏；
• 很难判断中间步骤；
• 错误信用可能传播给整段序列。

10.2 Process Reward

Process Reward 尝试评价中间步骤。

假设一个推理过程包含：

$$(z_1,z_2,\ldots,z_K)$$

可以为每一步给出奖励：

$$r_k^{\mathrm{process}}$$

总奖励可以写成：

$$R_{\mathrm{process}} = \sum_{k=1}^{K} w_k r_k^{\mathrm{process}}$$

其中：

优点：

• 信号更密集；
• 更容易定位错误；
• 可能提高长推理任务的训练效率。

缺点：

• 标注成本更高；
• 中间步骤未必容易客观评价；
• 错误过程规范可能抑制有效但非典型的推理路径。

Outcome Reward 与 Process Reward 不是谁完全取代谁，而是稀疏但可靠的结果评价，与密集但更难设计的过程评价之间的取舍。

11. 折扣如何影响信用传播

回报定义为：

$$G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

如果奖励发生在很远的未来，它对早期动作的影响会乘上：

$$\gamma^k$$

假设：

$$\gamma=0.9$$

十步之后的奖励权重是：

$$0.9^{10}\approx0.349$$

一百步之后：

$$0.9^{100}\approx0.000027$$

这意味着，即使终点奖励很大，传播到很早动作时也可能已经非常微弱。

较大的 γ 能够保留更长时间的信用，但也会引入更长的估计链条和更高方差。

信用分配与估计稳定性从来不是彼此独立的问题。

12. 边界：完美信用分配通常不可得

我们很容易希望算法能够准确回答：

最终结果中，每一步动作究竟贡献了多少？

但现实中，这个问题通常没有简单答案。

原因包括：

1. 动作之间存在组合效应；
2. 同一个动作在不同上下文中作用不同；
3. 环境包含随机性；
4. 状态表示可能遗漏信息；
5. 奖励本身可能只是代理；
6. 评价器也可能犯错。

强化学习中的信用分配通常不是恢复唯一真实答案，而是构造足够有用的学习信号。

这个信号需要在准确性、成本、方差与可计算性之间取舍。

下一章的自举，正是这种取舍的代表：

不再等待完整结局，而是用自己对下一步的估计，提前更新当前判断。

13. 回归全景图（Callback）

信用分配没有给出完美因果解释。它的任务是将迟到、稀疏、带噪声的结果，转换成此前动作能够使用的学习信号。

14. 本章小结

本章讨论了强化学习最核心的困难之一：

最终结果出现后，谁应当获得信用，谁应当承担责任？

Monte Carlo 方法等待轨迹结束，再计算：

$$G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

并用实际回报更新价值：

$$V(s_t)\leftarrow V(s_t)+\alpha [ G_t-V(s_t) ]$$

优势函数进一步比较动作相对于平均水平的好坏：

$$A^\pi(s,a)= Q^\pi(s,a)-V\pi(s)$$

但等待终局代价很高，轨迹随机性也会带来高方差。

下一章继续追问：

能否不等未来完全发生，就用对未来的估计更新现在？

第 5 章：自举：用尚未完成的预测更新预测

1. 如果每次都等待结局

上一章讨论了 Monte Carlo 方法。

它的做法很直接：

1. 让智能体完成一条轨迹；
2. 等待最终结果出现；
3. 计算每个时间步之后的真实回报；
4. 用这些回报更新此前状态或动作的价值。

这种方法很诚实。

它不猜测未来，而是等未来真正发生。

但如果一盘棋很长，如果机器人任务持续运行，如果语言模型需要生成几千个 Token，或者环境交互成本极高，等待完整结局就会显得缓慢。

能否提前学习？

能否只走一步，就开始更新？

Temporal Difference Learning 给出的答案是：

可以。虽然完整未来还没有发生，但我们可以暂时相信自己对下一步的估计。

这种做法称为自举（bootstrapping）。

2. 自举到底是什么意思

“自举”听起来有些抽象。它的核心含义其实很简单：

用一个尚未完全验证的预测，去更新另一个预测。

在 Bellman 方程中：

$$V^\pi(s_t)= \mathbf{E} [ r_t+\gamma V^\pi(s_{t+1}) ]$$

当前状态价值取决于：

1. 已经观察到的即时奖励 r_t；
2. 下一状态价值 V^π(s_{t+1})。

问题在于，训练过程中我们并不知道真实的：

$$V^\pi(s_{t+1})$$

我们只有一个估计：

$$\hat{V}(s_{t+1})$$

于是，TD 方法用：

$$r_t+\gamma\hat{V}(s_{t+1})$$

作为当前价值的学习目标。

未来还没有完全发生，但对未来的预测已经参与训练。

这就是自举。

图 5-1：自举截断位置

3. TD Target：提前结算未来

最基本的一步 TD 目标写成：

$$y_t = r_t +\gamma V(s_{t+1})$$

这个量称为 TD Target。

逐项解释：

TD Target 由两部分组成：

已经发生的现实 + 对尚未发生未来的估计

这与 Monte Carlo 不同。

Monte Carlo 使用完整回报：

$$G_t = r_t +\gamma r_{t+1} +\gamma^2r_{t+2} +\cdots$$

TD(0) 只观察一步，然后截断真实轨迹，用价值估计接上未来：

$$G_t^{(1)} = r_t+\gamma V(s_{t+1})$$

上标 (1) 表示只使用一步真实奖励。

4. TD Error：现实与预测相差多少

有了 TD Target，就可以比较：

• 原来对当前状态的估计；
• 观察一步之后得到的新目标。

TD Error 定义为：

$$\delta_t = r_t +\gamma V(s_{t+1})-V(s_t)$$

也可以写成：

$$\delta_t=y_t-V(s_t)$$

其中：

如果：

$$\delta_t>0$$

说明新观察结果比原先预期更好，当前状态价值应该上调。

如果：

$$\delta_t<0$$

说明新观察结果比原先预期更差，当前状态价值应该下调。

如果：

$$\delta_t=0$$

说明当前估计与一步之后的新证据已经一致。

5. TD 更新：只走一步，也能学习

表格型 TD(0) 的状态价值更新写成：

$$V(s_t)\leftarrow V(s_t) +\alpha \delta_t$$

代入 TD Error：

$$V(s_t)\leftarrow V(s_t)+\alpha [ r_t +\gamma V(s_{t+1})-V(s_t) ]$$

这里：

这条公式可以理解为：

保留旧判断，但向新的 TD Target 靠近一点。

将式子重新整理：

$$V(s_t)\leftarrow (1-\alpha)V(s_t)+\alpha [ r_t+\gamma V(s_{t+1}) ]$$

现在更容易看见：

• (1-α)V(s_t) 保留旧估计；
• α[r_t+γV(s_{t+1})] 吸收新目标。

学习率 α 决定了智能体有多愿意相信这次新经验。

6. 手算一次：一步之后就开始学习

考虑一条轨迹：

s_0 → s_1 → terminal

设：

$$\gamma=0.9$$

当前价值估计为：

$$V(s_0)=2$$

$$V(s_1)=5$$

机器人从 s_0 走到 s_1，得到奖励：

$$r_0=1$$

那么 TD Target 为：

$$\begin{aligned} y_0 &= r_0+\gamma V(s_1)\ &= 1+0.9\times5\ &= 5.5 \end{aligned}$$

TD Error 为：

$$\begin{aligned} \delta_0 &= y_0-V(s_0)\ &= 5.5-2\ &= 3.5 \end{aligned}$$

假设学习率：

$$\alpha=0.1$$

更新后：

$$\begin{aligned} V(s_0) &\leftarrow 2+0.1\times3.5\ &= 2.35 \end{aligned}$$

注意，此时轨迹还没有真正结束。

智能体并不知道从 s_1 出发最终一定能得到多少奖励。它只是暂时相信：

$$V(s_1)=5$$

并据此上调：

$$V(s_0)$$

这就是自举的效率来源，也是风险来源。

7. Monte Carlo 与 TD 的根本区别

Monte Carlo 与 TD 都试图估计长期价值，但它们使用不同目标。

7.1 Monte Carlo Target

$$y_t^{MC} = G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

它等待真实轨迹结束。

7.2 TD(0) Target

$$y_t^{TD(0)} = r_t+\gamma V(s_{t+1})$$

它只等待一步，然后用估计值接上未来。

7.3 两种方法的取舍

Monte Carlo 更相信已经发生的完整现实。

TD 更相信“一步现实 + 自己对未来的判断”。

没有哪一种方法永远更好。

这会引出第 7 章的主题：偏差与方差之间不存在免费午餐。

8. n-step TD：在等待与猜测之间移动

Monte Carlo 和 TD(0) 是两个极端。

• Monte Carlo 等到终点；
• TD(0) 只等一步。

我们也可以等待 n 步，再开始自举。

n-step Return 定义为：

$$G_t^{(n)} = r_t +\gamma r_{t+1} +\cdots +\gamma^{n-1}r_{t+n-1} +\gamma^nV(s_{t+n})$$

使用求和写法：

$$G_t^{(n)} = \sum_{k=0}^{n-1} \gamma^k r_{t+k} +\gamma^nV(s_{t+n})$$

逐项解释：

8.1 几个特殊情况

当：

$$n=1$$

得到：

$$G_t^{(1)} = r_t+\gamma V(s_{t+1})$$

这就是 TD(0)。

当 n 一直延伸到轨迹终点，不再使用剩余价值估计时，就逐渐接近 Monte Carlo。

因此，n 像一个滑块：

更早自举 ←──────────────→ 更晚自举
TD(0)                         Monte Carlo

8.2 手算一次

假设奖励为：

$$(r_0,r_1,r_2)=(1,2,3)$$

并且：

$$\gamma=0.9$$

已知：

$$V(s_2)=4$$

两步回报为：

$$\begin{aligned} G_0^{(2)} &= r_0+\gamma r_1+\gamma^2V(s_2)\ &= 1+0.9\times2+0.9^2\times4\ &= 1+1.8+3.24\ &= 6.04 \end{aligned}$$

这条目标使用了两步真实奖励，然后用 V(s_2) 接上尚未观察的未来。

9. TD(λ)：不必只选一个截断点

选择一个固定 n 仍然有些生硬。

为什么一定只信任一步、三步或五步回报？能否把不同长度的回报组合起来？

TD(λ) 提供了一种加权平均。

一种前向视角写成：

$$G_t^\lambda = (1-\lambda)\sum_{n=1}^{\infty} \lambda^{n-1} G_t^{(n)}$$

其中：

这条公式表示：

不只选择一个截断点，而是将多个截断位置按指数衰减加权。

当：

$$\lambda=0$$

主要依赖一步回报，接近 TD(0)。

当：

$$\lambda\to1$$

更多权重分配给较长回报，逐渐接近 Monte Carlo。

λ 成为调节偏差与方差的旋钮。

第 7 章讨论 GAE 时，我们会看到非常相似的结构。

10. Eligibility Trace：谁最近参与过，就先影响谁

TD(λ) 还有一种向后看的实现方式，称为 Eligibility Trace，常翻译为资格迹或迹。

直觉是：

当新的 TD Error 出现时，最近访问过的状态应该获得更多更新，更早访问过的状态则获得较弱更新。

对于表格型状态价值，可以定义：

$$e_t(s)= \gamma\lambda e_{t-1}(s)+\mathbf{1}(S_t=s)$$

逐项解释：

价值更新为：

$$V(s)\leftarrow V(s)+\alpha\delta_t e_t(s)$$

其中：

新的误差信号会沿着最近访问过的状态向前扩散。

这样，信用不必等到整条轨迹结束，仍然能够影响此前多个状态。

11. 函数逼近：当价值不再是一张表

在小型问题中，可以为每个状态保存一个价值：

V(s_1)=...
V(s_2)=...
V(s_3)=...

但现实任务中的状态空间可能巨大，甚至连续。

语言模型的上下文更不可能逐条存表。

因此，我们使用带参数的函数逼近：

$$V_\theta(s)$$

其中：

TD Target 写成：

$$y_t = r_t +\gamma V_\theta(s_{t+1})$$

一种常见 TD Loss 为：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ y_t -V_\theta(s_t) ]^2$$

代入目标：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ r_t +\gamma V_\theta(s_{t+1})-V_\theta(s_t) ]^2$$

表面上，它很像监督学习中的均方误差。

但这里有一个关键差别：

标签 y_t 不是外部提供的固定真值，而是包含了模型自己的预测。

这就是 RL Loss 看起来奇怪的原因之一。

第 6 章会专门拆解它。

12. Semi-Gradient：为什么要停止目标一侧的梯度

在 TD Loss 中：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ r_t +\gamma V_\theta(s_{t+1})-V_\theta(s_t) ]^2$$

当前预测：

$$V_\theta(s_t)$$

依赖参数 θ。

目标中的下一状态价值：

$$V_\theta(s_{t+1})$$

也可能依赖同一组参数。

如果两边同时跟着梯度变化，目标会在训练过程中不断移动。

常见做法是：将目标一侧暂时视为常量。

写作：

$$y_t = r_t +\gamma \operatorname{stopgrad} ( V_\theta(s_{t+1}))$$

然后：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ y_t-V_\theta(s_t) ]^2$$

其中：

这类更新称为 semi-gradient update。

之所以叫“半梯度”，是因为我们没有对目标中所有依赖参数的部分完整求导，而是有意识地截断了其中一部分。

这不是随意补丁。

它是在回答一个工程问题：

当模型使用自己的预测训练自己时，如何避免目标与预测同时剧烈移动？

13. 自举为什么危险

自举提高了样本效率，但也打开了误差传播的通道。

假设：

$$V(s_{t+1})$$

被高估。

那么 TD Target：

$$r_t+\gamma V(s_{t+1})$$

也会偏高。

于是：

$$V(s_t)$$

被向上推。

随后，更早状态的 TD Target 又会使用已经偏高的：

$$V(s_t)$$

错误就这样沿时间链向前传播。

可以把它写成：

下一状态高估
→ 当前 TD Target 偏高
→ 当前价值被高估
→ 更早状态的 TD Target 再次偏高
→ 误差逐步传播

如果再叠加：

• 神经网络函数逼近；
• Off-Policy 旧数据；
• 最大化操作；
• 高学习率；
• 分布漂移；

误差可能不只是传播，还会被放大。

这将在第 8 章和第 9 章继续展开。

14. 自举不等于盲目相信自己

读到这里，自举似乎像一种危险的循环论证：

为什么这个状态价值高？因为下一个状态价值高。
为什么下一个状态价值高？因为再下一个状态价值高。

但自举并不是完全脱离现实。

每一步更新都包含真实观察奖励：

$$r_t$$

终止状态也提供边界条件：

$$V(s_T)=0$$

真实奖励、终止状态和持续采样会不断校正价值估计。

问题不是“能不能自举”，而是：

如何让自举足够稳定，使真实信号能够逐步纠正预测，而不是让预测误差彼此放大？

目标网络、Double DQN、Replay Buffer、Clip、KL 约束等机制，都可以放回这个问题中理解。

15. 边界：自举解决了效率，不保证正确

自举带来三个明显优势：

1. 不必等待轨迹结束；
2. 更适合持续任务；
3. 可以更快传播局部经验。

但它没有保证：

1. 价值估计一定准确；
2. 函数逼近一定稳定；
3. 旧数据一定适用于当前策略；
4. 奖励一定表达真实意图；
5. 智能体一定探索到关键状态。

自举不是免费的加速器。

它用更高的学习效率，换来了更复杂的稳定性问题。

16. 回归全景图（Callback）

自举没有消灭等待未来的困难，而是把一部分等待转换成估计。它减少了样本成本，却把新的压力转移到了估计误差与训练稳定性上。

17. 本章小结

本章从一步 TD Target 开始：

$$y_t = r_t +\gamma V(s_{t+1})$$

定义 TD Error：

$$\delta_t = r_t +\gamma V(s_{t+1})-V(s_t)$$

并使用：

$$V(s_t)\leftarrow V(s_t) +\alpha\delta_t$$

完成每一步价值更新。

n-step TD 在等待真实奖励与使用价值估计之间移动：

$$G_t^{(n)} = \sum_{k=0}^{n-1} \gamma^k r_{t+k} +\gamma^nV(s_{t+n})$$

TD(λ) 则将多个截断位置组合起来：

$$G_t^\lambda = (1-\lambda)\sum_{n=1}^{\infty} \lambda^{n-1} G_t^{(n)}$$

进入神经网络后，TD Loss 写成：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ y_t-V_\theta(s_t) ]^2$$

但 y_t 不是外部给出的静态标签，而是包含模型自己的预测。

这把我们带到下一章：

为什么强化学习的损失函数，看起来总不像普通损失函数？

第三部分：长期目标如何变成一次更新

第 6 章：为什么强化学习的损失函数看起来不像损失函数

1. 一种挥之不去的拼装感

如果你从监督学习进入强化学习，很容易产生一种不适感。

在图像分类中，损失函数看起来很自然。模型输出类别概率，数据集给出正确标签。交叉熵衡量预测与标签之间的差异。

例如：

$$L_{\mathrm{CE}} = -\sum_{c=1}^{C} y_c\log p_c$$

其中：

正确标签像一个锚点。模型预测偏离标签，就产生误差。

进入强化学习后，画风突然改变：

• TD Loss 里，标签包含模型自己的预测；
• Policy Gradient Loss 里，出现动作对数概率与 Advantage；
• PPO 在概率比率外面套上 clip；
• RLHF 叠加 KL 惩罚与 Token Mask；
• DPO 看起来又像一个偏好分类损失；
• GRPO 用组内相对分数替代显式 Critic。

每一种方法似乎都在增加新的部件。

于是，读者会自然问：

强化学习的损失函数为什么总带有一种人为设计的拼装感？

答案是：

因为 RL Loss 通常不是“预测值与静态真值之间的误差”，而是将长期目标、采样估计、信用分配、分布约束和工程稳定性压缩成一次可执行更新的接口。

图 6-1：RL 损失函数五层剖面

2. 先区分五个层次

许多混乱来自把不同层次的问题都叫作“Loss”。

全书统一使用五层拆解法。

这五层不是五种互相替代的方法，而是一条链。

本源目标
→ 估计器
→ 代理损失
→ 约束与正则
→ 工程实现
→ 参数更新

不同算法的区别，常常不是它们处在不同世界，而是它们在这条链上选择了不同组件。

3. 本源目标：真正想优化的是 J(π)

第一章定义了策略目标：

$$J(\pi) = \mathbf{E}{\tau \sim \pi} [ \sum{t=0}^{T-1} \gamma^t r_t ]$$

理想状态下，希望找到：

$$\pi^* = \arg\max_\pi J(\pi)$$

这才是强化学习真正想做的事。

但在真实训练中，我们通常不能直接把：

$$-J(\pi)$$

丢进自动微分框架，然后期待所有问题自动解决。

为什么？

因为：

1. 轨迹由策略采样产生；
2. 环境转移通常不可微；
3. 奖励可能延迟；
4. 轨迹长度可能变化；
5. 数据分布会随着策略变化；
6. 采样噪声可能很大。

需要准确表述的一点是：

J(π) 并非原则上不可求导。策略梯度定理正是在估计它的梯度。困难在于，梯度通常不能像普通监督学习那样通过一条静态、确定、端到端可微的计算图直接得到。

因此，我们需要估计器和代理损失。

4. 第一条路线：TD Loss

4.1 从 Bellman 关系到训练目标

Bellman 方程告诉我们：

$$V^\pi(s_t)= \mathbf{E} [ r_t +\gamma V^\pi(s_{t+1}) ]$$

训练时，我们使用 TD Target：

$$y_t = r_t +\gamma \operatorname{stopgrad} ( V_\theta(s_{t+1}))$$

然后定义 TD Loss：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ y_t -V_\theta(s_t) ]^2$$

代入目标：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ r_t +\gamma \operatorname{stopgrad} ( V_\theta(s_{t+1}))-V_\theta(s_t) ]^2$$

4.2 为什么它看起来像监督学习

表面上，TD Loss 像一个普通均方误差：

标签 - 预测

其中：

• 预测是 V_θ(s_t)；
• 标签是 y_t。

但这个标签并不是外部给出的 ground truth。

它由两部分组成：

真实奖励 + 模型对下一状态的预测

因此，TD Loss 更准确的理解不是“拟合真值”，而是：

让价值函数逐渐满足 Bellman 自洽关系。

4.3 为什么需要 stopgrad

如果目标侧：

$$V_\theta(s_{t+1})$$

也跟着当前梯度立即变化，网络会一边追目标，一边移动目标。

stopgrad 的作用是：

前向计算保留数值，反向传播时暂时冻结目标一侧。

这让 TD Loss 更像一次局部固定点逼近。

它不是严格等同于普通监督学习，也不是任意补丁。

5. 第二条路线：Policy Gradient Surrogate

价值方法尝试学习：

$$V(s)$$

或：

$$Q(s,a)$$

再据此选择动作。

策略方法则直接参数化策略：

$$\pi_\theta(a\mid s)$$

并尝试增加高回报动作出现的概率。

策略梯度定理的一种常见形式是：

$$\nabla_\theta J(\theta) = E_{\tau \sim \pi_\theta} [ \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t | s_t) \hat{A}_t ]$$

逐项解释：

直觉是：

• 如果：

$$\hat{A}_t>0$$

说明动作比平均水平好，应该提高它的概率；

• 如果：

$$\hat{A}_t<0$$

说明动作比平均水平差，应该降低它的概率。

为了使用梯度下降，常把要最大化的方向写成要最小化的 Loss：

$$L_{\mathrm{PG}}(\theta)= - \mathbf{E} [ \log \pi_\theta(a_t\mid s_t) \hat{A}_t ]$$

这不是“预测错误”的平方。

它更像一个梯度载体：

用 Advantage 给动作对数概率加权，让优化器知道哪些动作概率应该上升，哪些应该下降。

第 17 章会完整推导 Policy Gradient 和 Log-Derivative Trick。

6. PPO：为什么还要对更新加护栏

策略梯度已经提供了方向，但一次更新如果走得太远，策略可能突然改变。

旧数据来自旧策略：

$$\pi_{\theta_{\mathrm{old}}}$$

更新后，我们想训练新策略：

$$\pi_\theta$$

定义概率比率：

$$r_t(\theta)= \frac{ \pi_\theta(a_t\mid s_t)}{ \pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$$

它衡量：

新策略相对于旧策略，提高或降低了动作 a_t 的概率多少？

如果：

$$r_t(\theta)=1$$

说明概率没有变化。

如果：

$$r_t(\theta)>1$$

说明新策略更倾向于选择这个动作。

如果：

$$r_t(\theta)<1$$

说明新策略降低了这个动作的概率。

PPO 的 Clipped Objective 常写为：

$$L_{\mathrm{PPO}}^{\mathrm{clip}}(\theta)= \mathbf{E}_t [ \min ( r_t(\theta)\hat{A}_t,; \operatorname{clip} ( r_t(\theta), 1-\epsilon, 1+\epsilon )\hat{A}_t ) ]$$

逐项解释：

PPO Clip 的作用不是重新定义最终目标。

它是在说：

即使方向看起来不错，也不要一步走得太远。

它属于约束与稳定化层，而不是本源目标层。

第 18 章会结合 Actor-Critic 完整解释 PPO。

7. KL：离参考策略不要太远

另一种常见约束是 KL Divergence。

对于两个离散概率分布 p 和 q：

$$D_{\mathrm{KL}}(p \parallel q)= \sum_x p(x)\log \frac{p(x)}{q(x)}$$

它衡量两个分布之间的差异。

在策略优化中，可以使用：

$$D_{\mathrm{KL}} ( \pi_\theta(\cdot\mid s)\parallel \pi_{\mathrm{ref}}(\cdot\mid s))$$

其中：

带 KL 正则的目标可以写成：

$$J_{\mathrm{KL}}(\pi)= \mathbf{E} [ R ] - \beta \mathbf{E} [ D_{\mathrm{KL}} ( \pi(\cdot\mid s)\parallel \pi_{\mathrm{ref}}(\cdot\mid s)) ]$$

这里：

β 越大，策略越不敢偏离参考分布。

在 RLHF 中，KL 常用于防止语言模型为了追求 Reward Model 分数而迅速偏离原本语言能力。

KL 约束没有消灭目标偏差，只是限制了偏差造成的破坏速度。

8. 工程实现层：公式落地时仍然需要判断

即使理论公式已经确定，真实训练仍然包含许多工程选择。

这些选择不应被轻视，也不能与理论目标混为一谈。

8.1 Mask

语言模型训练中，一个 batch 里的回答长度可能不同。补齐位置不应该参与损失。

可以写成：

$$L = \frac{ \sum_{t=1}^{T} m_t\ell_t}{ \sum_{t=1}^{T} m_t}$$

其中：

Mask 不改变算法哲学，却决定训练是否计算正确。

8.2 Advantage Normalization

一个 batch 中的 Advantage 可能尺度差异很大。

常见归一化写成：

$$\hat{A}_t^{\mathrm{norm}} = \frac{ \hat{A}_t-\mu_A}{ \sigma_A+\varepsilon}$$

其中：

它改善数值尺度，但也意味着更新行为依赖 batch 统计量。

8.3 Gradient Clipping

如果梯度过大，可以限制梯度范数：

$$g \leftarrow g \cdot \min ( 1,; \frac{c}{|g|} )$$

其中：

梯度裁剪是数值稳定机制，不是新的优化目标。

9. DPO：显式 Reward Model 消失了吗

到了 DPO，损失函数看起来又像监督学习。

对于提示词 x、偏好回答 y_w 和较差回答 y_l，DPO Objective 的常见形式为：

$$L_{\mathrm{DPO}}(\theta)= - \mathbf{E} [ \log \sigma ( \beta [ \log \frac{ \pi_\theta(y_w\mid x)}{ \pi_{\mathrm{ref}}(y_w\mid x)} - \log \frac{ \pi_\theta(y_l\mid x)}{ \pi_{\mathrm{ref}}(y_l\mid x)} ] ) ]$$

这里：

这条公式看起来像偏好分类。

但它并不意味着奖励问题彻底消失。

更准确的说法是：

在特定假设下，显式 Reward Model 被消去，偏好优化被重写为策略与参考模型之间的相对对数概率差。

DPO 删除了一个显式组件，却把部分矛盾迁移到：

• 偏好数据质量；
• 参考模型；
• 推导假设；
• 数据覆盖范围；
• 序列对数概率结构。

第 22 章会完整拆解它。

10. GRPO：显式 Critic 消失了吗

GRPO 使用同一个问题下的一组候选回答。

假设对一个提示词采样 G 个回答：

$${y_1,y_2,\ldots,y_G}$$

每个回答获得奖励：

$${R_1,R_2,\ldots,R_G}$$

一种组内相对优势写成：

$$\hat{A}_i = \frac{ R_i-\mu_R}{ \sigma_R+\varepsilon}$$

其中：

$$\mu_R = \frac{1}{G} \sum_{j=1}^{G} R_j$$

$$\sigma_R = \sqrt{ \frac{1}{G} \sum_{j=1}^{G} ( R_j-\mu_R )^2}$$

逐项解释：

GRPO 可以减少对单独训练 Critic 的依赖。

但它没有删除估计问题。

它将部分估计工作转移到：

• 组内样本质量；
• 奖励噪声；
• 候选多样性；
• 标准化统计；
• 在线采样成本。

少一个显式模块，不等于少一个本质问题。

11. 一条统一的 Loss 视角

许多 RL 训练目标可以粗略理解为：

$$L_{\mathrm{total}} = L_{\mathrm{proxy}} +\beta L_{\mathrm{constraint}} +\lambda L_{\mathrm{regularization}}$$

其中：

注意，这不是所有算法必须严格照抄的唯一公式。

它是一种阅读框架。

面对一个新的 Loss，可以问：

1. 哪一项在表达主要方向？
2. 哪一项在限制更新范围？
3. 哪一项只是工程稳定化？
4. 哪一项依赖估计器？
5. 哪一项把旧问题隐藏到了新的假设里？

这样，复杂公式就不再是一整块难以理解的墙，而是一组可以拆开的组件。

12. 为什么不存在唯一“天然 Loss”

监督学习也会设计损失函数，但在许多经典任务中，标签提供了较稳定的参照物。

强化学习不同。

它必须同时面对：

1. 长期回报；
2. 延迟反馈；
3. 信用分配；
4. 采样噪声；
5. 自举偏差；
6. 策略变化；
7. 数据漂移；
8. 探索压力；
9. 数值稳定性。

不同算法对这些问题做不同取舍，因此 Loss 也会长成不同形状。

TD Loss 更接近固定点逼近。

Policy Gradient Loss 更接近梯度估计载体。

PPO Clip 更接近更新护栏。

KL 更接近分布锚点。

DPO 是在假设条件下对偏好优化的重参数化。

GRPO 将部分价值估计转移到组内比较。

它们不应该被混成同一类东西。

13. 边界：复杂不等于任意

看到 RL Loss 中大量设计项，容易走向两个极端。

第一个极端是：

这些公式都是拍脑袋拼出来的。

这不准确。

很多设计来自明确问题：

• stopgrad 控制移动目标；
• PPO Clip 限制策略突变；
• KL 限制偏离参考分布；
• Mask 排除无效 Token；
• Advantage Normalization 控制尺度；
• Group Baseline 提供相对比较。

第二个极端是：

只要数学推导成立，Loss 就一定可靠。

这也不准确。

Loss 仍然依赖：

• 奖励是否合理；
• 假设是否成立；
• 数据是否覆盖关键行为；
• 估计器是否可靠；
• 工程实现是否正确；
• 超参数是否处在合适范围。

因此，更准确的判断是：

RL Loss 不是任意拼装，也不是自动正确。它是理论目标、估计假设和工程约束共同塑造的可执行近似。

14. 回归全景图（Callback）

RL Loss 没有消灭强化学习的矛盾。它将矛盾压缩成优化器可以执行的一步，同时也把许多取舍写进了公式、约束和工程细节。

15. 本章小结

本章建立了理解 RL Loss 的五层框架：

本源目标
→ 估计器
→ 代理损失
→ 约束与正则
→ 工程实现
→ 参数更新

TD Loss 通过 Bellman 自洽关系训练价值：

$$L_{\mathrm{TD}}(\theta)= \frac{1}{2} [ r_t +\gamma \operatorname{stopgrad} ( V_\theta(s_{t+1}))-V_\theta(s_t) ]^2$$

Policy Gradient 使用 Advantage 为动作概率更新方向加权：

$$L_{\mathrm{PG}}(\theta)= - \mathbf{E} [ \log \pi_\theta(a_t\mid s_t) \hat{A}_t ]$$

PPO Clip 和 KL 惩罚限制策略更新不要走得太远。

DPO 与 GRPO 则提醒我们：

显式模块消失，不等于本质矛盾消失。问题往往只是迁移到了新的数据、假设与统计量中。

下一部分，我们开始集中讨论估计的代价：

当我们不再等待完整未来，而是不断使用近似，偏差与方差将如何进入系统？

第四部分：每一种估计都有代价

第 7 章：偏差与方差：不存在免费的估计

1. 更接近真实，为什么未必更好用

上一章讨论了自举。

Monte Carlo 等待完整轨迹，使用真正观察到的回报。TD 不等终局，只观察一步或几步，再用价值估计接上未来。

直觉上，Monte Carlo 似乎更可靠：

既然真实结果最终会出现，为什么不直接相信真实结果？

问题在于，真实结果也可能非常嘈杂。

想象一个推荐系统。即使展示同一条内容，不同用户也可能有完全不同反应。想象一个游戏智能体。即使执行同一种策略，随机地图、对手行为和初始位置也会改变最终结果。想象一个语言模型。即使提示词相同，采样温度也可能产生不同回答。

一条完整轨迹确实真实，却未必稳定。

强化学习中的许多算法改进，都在同一架天平上移动：

少猜一点，通常要承受更大波动；想稳定一点，通常要接受更多近似。

这就是偏差与方差之间的取舍。

图 7-1：偏差与方差跷跷板

2. 什么是偏差

假设我们想估计一个状态的真实价值：

$$V^\pi(s)$$

但每次根据有限数据得到的估计可能不同：

$$\hat{V}(s)$$

估计器的偏差（bias）定义为：

$$\operatorname{Bias} [ \hat{V}(s)] = \mathbf{E} [ \hat{V}(s)] -V^\pi(s)$$

逐项解释：

如果：

$$\operatorname{Bias} [ \hat{V}(s) ] =0$$

称估计器无偏。

无偏并不意味着每次估计都准确。

它只表示：

如果重复很多次，误差平均起来不会系统性偏向某一侧。

3. 什么是方差

方差（variance）衡量：

每次重新采样时，估计值会波动多大？

定义为：

$$\operatorname{Var} [ \hat{V}(s)] = \mathbf{E} [ ( \hat{V}(s)- \mathbf{E} [ \hat{V}(s)] )^2 ]$$

逐项解释：

3.1 两组估计

假设真实价值为：

$$V^\pi(s)=10$$

估计器 A 重复四次得到：

$$(9,11,10,10)$$

估计器 B 得到：

$$(2,18,5,15)$$

两组平均值都是：

$$10$$

它们都可能无偏。

但估计器 B 波动更大，方差更高。

训练时，高方差意味着梯度方向会反复摇摆。即使平均方向正确，优化过程也可能非常缓慢。

4. 均方误差如何拆开

估计器总体好不好，常用均方误差衡量：

$$\operatorname{MSE} [ \hat{V}(s)] = \mathbf{E} [ ( \hat{V}(s)-V^\pi(s))2 ]$$

它可以拆解为：

$$\operatorname{MSE} = \operatorname{Bias}^2 +\operatorname{Variance}$$

在更一般的监督学习表述中，还可能单独写出不可约噪声项。这里先聚焦价值估计自身的偏差与方差。

这条公式告诉我们：

估计误差不只有一种来源。减少偏差，可能增加方差；压低方差，也可能引入偏差。

算法设计不是只追求某一项最小，而是在任务条件下寻找可用平衡。

5. Monte Carlo：较少猜测，较大波动

Monte Carlo Target 为：

$$y_t^{MC} = G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k}$$

它使用完整轨迹中的实际奖励。

如果轨迹采样方式与目标策略一致，环境条件合适，Monte Carlo Return 通常可以作为价值的无偏样本。

但一条完整轨迹包含许多随机因素：

• 后续动作采样；
• 环境随机转移；
• 对手行为；
• 奖励噪声；
• 轨迹长度变化。

这些随机性都会进入：

$$G_t$$

因此，Monte Carlo 通常方差较大。

5.1 手算一个高方差例子

假设同一个状态 s 有两种后续结果：

• 50% 概率最终获得 20；
• 50% 概率最终获得 0。

真实期望价值为：

$$V^\pi(s) = 0.5\times20 +0.5\times0 =10$$

但每次 Monte Carlo 采样只会看到：

$$20$$

或：

$$0$$

单次样本可能距离真实期望很远。

如果只采少量轨迹，价值更新会明显摇摆。

6. TD：更早猜测，通常更稳定

TD(0) Target 为：

$$y_t^{TD} = r_t +\gamma V(s_{t+1})$$

它不等待完整轨迹，而是使用下一状态价值估计。

这样做减少了后续轨迹随机性进入目标的程度。

但新的问题是：

$$V(s_{t+1})$$

可能不准确。

如果下一状态价值被低估，当前 TD Target 也会偏低；如果下一状态价值被高估，偏差也会向前传播。

因此，TD 通常：

• 方差较低；
• 但可能引入自举偏差。

Monte Carlo 与 TD 的差别，可以概括为：

7. n-step Return：没有唯一正确截断点

n-step Return 为：

$$G_t^{(n)} = \sum_{k=0}^{n-1} \gamma^k r_{t+k} +\gamma^nV(s_{t+n})$$

它等待 n 步真实奖励，再用价值估计接上未来。

当 n 较小：

• 更早自举；
• 方差通常较低；
• 更依赖价值估计；
• 偏差可能更明显。

当 n 较大：

• 使用更多真实奖励；
• 更接近 Monte Carlo；
• 偏差可能下降；
• 方差与等待成本通常增加。

因此，n 不是单纯的技术参数，而是在选择：

我们愿意等待多少现实，又愿意提前相信多少预测？

8. λ-return：将许多截断点混合起来

与其只选择一个 n，可以组合不同长度的回报。

λ-return 写作：

$$G_t^\lambda = (1-\lambda)\sum_{n=1}^{\infty} \lambda^{n-1} G_t^{(n)}$$

其中：

当：

$$\lambda=0$$

主要依赖一步回报。

当：

$$\lambda\to1$$

更多权重给到较长回报，逐渐接近 Monte Carlo。

λ 将离散选择变成连续调节。

9. Advantage：策略更新需要相对评价

策略梯度通常不直接使用绝对回报，而是使用 Advantage：

$$A^\pi(s,a)= Q^\pi(s,a)-V\pi(s)$$

它回答：

在当前状态下，这个动作比平均水平好多少？

实际训练中，真实 Advantage 通常不可直接获得，因此需要估计：

$$\hat{A}_t$$

最简单的一步估计是 TD Error：

$$\delta_t = r_t +\gamma V(s_{t+1})-V(s_t)$$

为什么它可以近似 Advantage？

直觉上：

• r_t+γV(s_{t+1}) 估计采取当前动作之后的长期价值；
• V(s_t) 估计当前状态下的平均价值；
• 两者相减，得到当前动作相对平均水平的超额表现。

因此：

$$\delta_t \approx A^\pi(s_t,a_t)$$

但一步 TD Error 可能过于局部。

于是，引出 GAE。

10. GAE：把多个时间尺度的 TD Error 混合起来

GAE 全称为 Generalized Advantage Estimation。

它使用多个未来 TD Error 的折扣加权和：

$$\hat A_t^{GAE} = \sum_{l=0}^\infty (\gamma\lambda)^l \delta_{t+l}$$

展开前几项：

$$\hat A_t^{GAE} = \delta_t + \gamma\lambda\delta_{t+1} + (\gamma\lambda)^2\delta_{t+2}+\cdots$$

逐项解释：

GAE 的直觉是：

不只看当前一步预测误差，也让后续几步误差按衰减权重返回现在。

λ 较小时：

• 更接近一步 TD；
• 通常方差更低；
• 更依赖 Critic 准确性。

λ 较大时：

• 使用更长时间的信息；
• 更接近 Monte Carlo；
• 通常偏差降低；
• 方差可能提高。

10.1 手算一次

假设：

$$\gamma=0.9$$

$$\lambda=0.8$$

并且未来三步 TD Error 为：

$$\delta_t=2$$

$$\delta_{t+1}=1$$

$$\delta_{t+2}=-0.5$$

截断到三步，GAE 为：

$$\begin{aligned} \hat{A}_t^{GAE} &= 2 +(0.9\times0.8)\times1\ &\quad +(0.9\times0.8)^2\times(-0.5)\ &= 2+0.72-0.2592\ &= 2.4608 \end{aligned}$$

当前动作得到正 Advantage，说明它比平均水平更好。

但这个判断不是只依赖一步，而是吸收了后续误差信息。

11. γ 与 λ 的分工

γ 和 λ 经常一起出现，容易混淆。

它们都让遥远未来权重下降，但作用不同。

γ 更接近任务定义。

λ 更接近估计策略。

在 GAE 中，它们共同出现：

$$(\gamma\lambda)^l$$

但不能因此认为两者含义相同。

12. 为什么没有万能参数

面对偏差与方差，读者很容易希望得到一个固定答案：

γ 和 λ 设成多少最好？

不存在适用于所有任务的唯一答案。

因为任务不同：

• 奖励延迟程度不同；
• 轨迹长度不同；
• 环境随机性不同；
• Critic 准确性不同；
• 样本数量不同；
• 策略更新幅度不同。

如果 Critic 很不准确，过早自举会传播错误。

如果轨迹非常嘈杂，过度依赖 Monte Carlo 又会导致高方差。

如果奖励距离当前动作很远，太小的 γ 或 λ 可能让信号几乎传不回来。

调参不是寻找宇宙常数，而是在具体任务中选择合适的估计代价。

13. 偏差与方差并不只属于价值估计

偏差与方差贯穿强化学习。

13.1 Reward Model

Reward Model 使用有限偏好数据估计人类判断。

• 模型过于简单，可能产生系统性偏差；
• 模型过于灵活、数据噪声大，可能产生高方差或过拟合。

13.2 Importance Sampling

使用旧策略数据估计新策略表现时，需要修正分布差异。

• 修正不足，会引入偏差；
• 修正权重过大，又可能产生高方差。

13.3 GRPO

使用组内相对奖励代替显式 Critic 时：

• 减少了单独价值网络带来的估计误差；
• 但组内样本数量、奖励噪声和候选多样性会影响方差。

算法换了外观，天平仍然存在。

14. 边界：稳定不等于正确

降低方差通常让训练曲线更加平滑。

但平滑不代表正确。

一个稳定但有偏的估计器，可能持续把策略引向错误方向。一个波动较大的估计器，平均方向反而可能更接近真实目标。

因此，评估算法时不能只看：

• Loss 是否下降；
• 曲线是否平滑；
• 梯度是否稳定。

还要问：

• 最终策略是否真的更好？
• 估计是否在关键区域可靠？
• 分布变化后是否仍然有效？
• 代理奖励是否偏离真实意图？

偏差与方差只是估计问题的两个坐标，不是全部世界。

15. 回归全景图（Callback）

偏差与方差没有被任何算法彻底消灭。算法只能选择：愿意在哪个位置承担哪一种误差。

16. 本章小结

偏差衡量估计是否系统性偏离真实值：

$$\operatorname{Bias} [ \hat{V}(s)] = \mathbf{E} [ \hat{V}(s)] -V^\pi(s)$$

方差衡量重新采样时估计波动多大：

$$\operatorname{Var} [ \hat{V}(s)] = \mathbf{E} [ ( \hat{V}(s)- \mathbf{E} [ \hat{V}(s)] )^2 ]$$

GAE 将多个时间尺度的 TD Error 组合起来：

$$\hat A_t^{GAE} = \sum_{l=0}^\infty (\gamma\lambda)^l \delta_{t+l}$$

它不是凭空出现的技巧，而是偏差与方差取舍的工程化表达。

下一章将看到另一种更隐蔽的误差：

当算法总是从多个估计值中选择最大的那个，噪声为什么会被系统性放大？

第 8 章：最大化偏差与价值幻觉

1. 为什么总挑最高分会出问题

假设你要从十家餐厅中选择一家。

你不知道它们的真实质量，只能参考带有噪声的评分。某家餐厅可能真实水平一般，却恰好因为样本少、评价偶然偏高，成为排行榜第一名。

如果你总是选择当前评分最高的餐厅，就会系统性偏爱那些“被高估”的对象。

强化学习中的价值方法也会遇到类似问题。

智能体面对多个动作，常常选择：

$$\max_a Q(s,a)$$

但 Q(s,a) 往往不是精确真值，而是带有误差的估计。

一旦从许多 noisy estimates 中挑选最大值，噪声不再对称。偏高的估计更容易被选中，偏低的估计则更容易被忽略。

这称为最大化偏差（maximization bias）或过高估计（overestimation）。

2. Q-Learning：把最优未来带回现在

Bellman 最优方程为：

$$Q^(s_t,a_t)= \mathbf{E} [ r_t +\gamma \max_{a'} Q^(s_{t+1},a') ]$$

Q-Learning 使用采样更新：

$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [ r_t +\gamma \max_{a'} Q(s_{t+1},a')-Q(s_t,a_t) ]$$

其中：

括号中的：

$$r_t +\gamma \max_{a'} Q(s_{t+1},a')-Q(s_t,a_t)$$

是 Q-Learning 的 TD Error。

Q-Learning 的力量来自：

即使采样行为带有探索，它仍然可以朝“下一步选择最优动作”的目标更新。

但风险也在这里：

$$\max_{a'}Q(s_{t+1},a')$$

会偏爱被高估的动作。

3. 手算一次：真实价值相同，最大值仍然偏高

假设下一状态有两个动作：

$$a_1,;a_2$$

它们真实价值都为：

$$Q^{\ast}(s',a_{1}) = Q^{\ast}(s',a_{2}) = 0$$

但估计带有噪声。每次估计可能为：

$$\hat{Q}(s',a_{i}) = +1 \ (p=0.5) \ , \ -1 \ (p=0.5)$$

对每个动作单独看，估计无偏：

$$\mathbf{E} [ \hat{Q}(s',a_i) ] =0$$

但如果每次取最大值，四种情况为：

最大值期望为：

$$\mathbf{E} [ \max_a \hat{Q}(s',a) ] = \frac{ 1+1+1-1}{4} =0.5$$

真实最大值却是：

$$\max_a Q^*(s',a) =0$$

于是：

$$\mathbf{E} [ \max_a \hat{Q}(s',a)] > \max_a Q^*(s',a)$$

每个动作估计单独看都没有偏差，但取最大值后，整体产生了过高估计。

这就是最大化偏差。

4. 为什么噪声会变成“价值幻觉”

过高估计不是一次无害的误差。

在 Q-Learning 中，它会进入 TD Target：

$$y_t = r_t +\gamma \max_{a'} Q(s_{t+1},a')$$

如果下一状态最大价值被高估：

1. 当前 TD Target 偏高；
2. 当前动作价值被向上推；
3. 更早状态又使用这个偏高价值；
4. 偏差沿自举链传播。

更麻烦的是，策略会优先选择高估动作。

于是系统形成循环：

偶然高估
→ 更容易被选择
→ 更频繁进入更新
→ 偏差传播
→ 策略更加相信高估动作

这种现象可以称为“价值幻觉”：

智能体不是发现了真正更好的动作，而是越来越相信自己早期的乐观误判。

5. 从 Q-Learning 到 DQN

如果状态数量很少，可以用表格存储：

$$Q(s,a)$$

但图像、机器人姿态、游戏画面和语言上下文空间极其庞大，无法逐项存表。

DQN 使用神经网络近似动作价值：

$$Q_\theta(s,a)$$

其中：

最直接的 DQN Target 为：

$$y_t = r_t +\gamma \max_{a'} Q_\theta(s_{t+1},a')$$

对应损失：

$$L(\theta)= \frac{1}{2} [ y_t -Q_\theta(s_t,a_t) ]^2$$

但这里有一个问题：

• 当前预测来自 Q_θ；
• 目标也来自 Q_θ。

网络每更新一次，目标也立即变化。

这像一个射手一边瞄准，一边自己移动靶子。

6. Target Network：让靶子暂时慢下来

DQN 引入目标网络：

$$Q_{\theta^-}(s,a)$$

其中：

• θ 是当前在线网络参数；
• θ^- 是目标网络参数。

TD Target 改为：

$$y_t^{DQN} = r_t +\gamma \max_{a'} Q_{\theta^-}(s_{t+1},a')$$

这里为简洁起见，省略了终止标记。若用 $d_t\in{0,1}$ 表示这一步之后是否终止，工程实现通常写成：

$$y_t^{DQN} = r_t +\gamma(1-d_t)\max_{a'} Q_{\theta^-}(s_{t+1},a')$$

终止转移满足 $d_t=1$，不应继续叠加下一状态价值。

Loss 为：

$$L_{\mathrm{DQN}}(\theta)= \frac{1}{2} [ y_t^{DQN} -Q_\theta(s_t,a_t) ]^2$$

在线网络持续更新，目标网络暂时固定。

每隔一段时间，再同步：

$$\theta^- \leftarrow \theta$$

或者使用软更新：

$$\theta^- \leftarrow \tau\theta +(1-\tau)\theta^-$$

其中：

Target Network 解决的不是奖励问题，也不是探索问题。

它解决的是：

自举目标变化太快，网络难以追踪。

它像一个锚点，让递归更新暂时稳定一点。

7. Replay Buffer：为什么要复用旧经验

DQN 还使用 Replay Buffer，保存历史转移：

$$(s_t,a_t,r_t,s_{t+1})$$

训练时，从缓冲区随机采样。

Replay Buffer 有两个主要作用：

1. 打散连续时间步之间的强相关性；
2. 复用旧经验，提高样本效率。

如果智能体刚刚连续走过同一片区域，直接按顺序训练，样本会高度相似。随机回放可以让 batch 更加多样。

但 Replay Buffer 也引入新问题：

旧数据来自旧策略，与当前策略的分布并不完全一致。

因此，Replay Buffer 同时属于：

• 数据复用机制；
• 稳定化机制；
• Off-Policy 学习的一部分；
• 潜在分布漂移来源。

它不是一块没有代价的存储空间。

8. Double DQN：选择与评价不要使用同一双眼睛

Target Network 减缓目标漂移，但最大化偏差仍然存在。

标准 DQN Target 使用：

$$\max_{a'} Q_{\theta^-}(s_{t+1},a')$$

同一个网络既：

1. 选择哪个动作最大；
2. 评价这个最大动作值多少。

如果某个动作被偶然高估，它更容易被选中，也更容易将高估值写入目标。

Double DQN 将“选择”与“评价”分开。

先用在线网络选择动作：

$$a^* = \arg\max_{a'} Q_\theta(s_{t+1},a')$$

再用目标网络评价这个动作：

$$Q_{\theta^-} ( s_{t+1},a^* )$$

因此，Double DQN Target 为：

$$y_t^{DoubleDQN} = r_t +\gamma Q_{\theta^-} ( s_{t+1}, \arg\max_{a'} Q_\theta(s_{t+1},a'))$$

逐项解释：

Double DQN 的直觉非常朴素：

不要让同一份噪声同时决定“选谁”和“给多少分”。

它不能彻底消除所有偏差，但通常能够缓解过高估计。

9. Dueling Network：状态好不好，与动作差异有多大

有些状态下，不同动作差别很小。

例如，一辆车在空旷直路上，轻微向左或向右调整都可能影响不大。此时，与其为每个动作完全独立估计价值，不如分开建模：

• 当前状态总体有多好；
• 每个动作相对平均水平有多大优势。

Dueling Network 使用：

$$Q(s,a)= V(s)+A(s,a)$$

但直接相加存在不可辨识问题。常见修正为：

$$Q(s,a)= V(s)+ [ A(s,a)- \frac{1}{|\mathcal{A}|} \sum_{a'} A(s,a') ]$$

其中：

Dueling Network 主要改变网络结构，不是重新定义 Bellman 目标。

10. Prioritized Replay：哪些经验更值得重看

普通 Replay Buffer 随机采样旧经验。

但一些经验可能更有学习价值。例如，TD Error 较大的样本说明：

当前预测与新证据差异较大。

可以定义优先级：

$$p_i = | \delta_i | +\varepsilon$$

并按优先级采样：

$$P(i) = \frac{ p_i^\alpha}{ \sum_j p_j^\alpha}$$

其中：

优先回放提高学习效率，却改变了采样分布。

为了减少偏差，还需要 Importance Sampling 修正。

这再次说明：

每一次效率提升，往往会把新的代价转移到别处。

11. Distributional RL：价值不只是一个平均数

标准价值函数通常估计期望：

$$Q(s,a) = \mathbf{E} [ G_t \mid s,a ]$$

但两个动作即使期望相同，风险结构也可能不同。

例如：

• 动作 A：稳定得到 5；
• 动作 B：一半概率得到 20，一半概率得到 -10。

两者期望都是：

$$5$$

但回报分布不同。

Distributional RL 尝试建模回报随机变量的分布：

$$Z(s,a)$$

而不是只估计均值：

$$Q(s,a)=\mathbf{E}[Z(s,a)]$$

这提醒我们：

价值幻觉不仅可能来自均值高估，也可能来自把复杂风险压缩成一个数字。

12. 边界：Target Network 不是万能药

Target Network、Double DQN、Replay Buffer、Dueling Network 与 Prioritized Replay 都很有用。

但它们分别处理不同问题：

不能把这些机制都笼统理解为“让 DQN 更稳定”。

真正重要的是看清：

每一种机制压住了哪一个循环，又把什么新问题带入系统。

13. 回归全景图（Callback）：DQN 与 Double DQN

DQN 没有消灭价值估计的误差。它通过 Target Network 和 Replay Buffer 让自举更可控。Double DQN 则进一步承认：当选择与评价共享同一份噪声时，最大化会系统性放大乐观误判。

14. 本章小结

Q-Learning 使用：

$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [ r_t +\gamma \max_{a'} Q(s_{t+1},a')-Q(s_t,a_t) ]$$

但 max 会偏爱带有正向噪声的动作。

DQN 使用神经网络近似价值，并通过目标网络稳定训练：

$$y_t^{DQN} = r_t +\gamma \max_{a'} Q_{\theta^-}(s_{t+1},a')$$

Double DQN 将选择与评价分开：

$$y_t^{DoubleDQN} = r_t +\gamma Q_{\theta^-} ( s_{t+1}, \arg\max_{a'} Q_\theta(s_{t+1},a'))$$

下一章继续追问：

当函数逼近、自举和 Off-Policy 数据同时出现时，为什么误差可能不只是偏高，而是彻底失控？

第 9 章：致命三角：为什么深度 RL 容易失控

1. 单独看都合理，组合起来却可能危险

前几章出现了三种常见做法。

第一，使用神经网络表示价值函数。状态空间太大，不可能为每个状态单独存表，因此需要函数逼近。

第二，使用自举。等待完整轨迹太慢，因此用下一状态价值估计更新当前价值。

第三，复用旧数据。环境交互很昂贵，因此希望使用 Replay Buffer 或其他策略采集的数据提高样本效率。

每一种做法单独看都很合理。

但当三者同时出现时，训练可能变得非常脆弱：

1. Function Approximation：函数逼近；
2. Bootstrapping：自举；
3. Off-Policy Learning：异策略学习。

这三者的组合通常被称为致命三角（Deadly Triad）。

图 9-1：致命三角的误差传播

2. 顶点一：函数逼近

在表格型强化学习中，每个状态动作对都有独立数值：

$$Q(s,a)$$

更新一个状态动作对，不一定影响其他位置。

神经网络不同。

我们用：

$$Q_\theta(s,a)$$

表示动作价值。参数 θ 被大量状态共享。

一次梯度更新：

$$\theta \leftarrow \theta -\alpha \nabla_\theta L(\theta)$$

会同时改变许多状态动作对的预测。

这带来泛化能力，也带来干扰。

如果网络在状态 s_1 上学到了一点新东西，状态 s_2 的估计也可能变化，即使 s_2 并未出现在当前 batch 中。

函数逼近让学习不再局部。

3. 顶点二：自举

TD Target 包含下一状态估计：

$$y_t = r_t +\gamma \max_{a'} Q_{\theta^-}(s_{t+1},a')$$

当前价值学习目标不是静态标签，而是另一个估计。

如果下一状态价值偏高，当前价值也会被推高。

自举让学习更高效，也让误差可以沿时间传播：

下一状态误差
→ 当前 Target 误差
→ 当前价值误差
→ 更早状态 Target 误差

4. 顶点三：Off-Policy

On-Policy 学习使用当前策略采集的数据。

Off-Policy 学习则允许：

用行为策略 b 产生的数据，学习另一个目标策略 π。

写作：

$$b\neq\pi$$

这非常有吸引力。

旧经验可以反复利用；其他智能体的数据也可能被使用；昂贵环境交互不必浪费。

但风险是：

数据覆盖的区域，与当前策略真正关心的区域可能不同。

如果模型在某些动作上几乎没有数据，却仍然给出很高估计，策略可能被吸引到这些缺少证据的区域。

这类问题常与外推误差（extrapolation error）有关。

5. 三者如何形成反馈循环

现在将三个顶点连接起来。

假设网络在一个缺少数据的动作上偶然高估：

$$Q_\theta(s,a) \mathrm{ 偏高}$$

由于自举，偏高值进入目标：

$$y_t = r_t +\gamma \max_{a'} Q_{\theta^-}(s',a')$$

由于函数逼近，一次更新又可能改变其他状态估计。

由于数据来自旧策略，当前 buffer 未必包含足够新样本纠正错误。

于是：

缺少覆盖的数据
→ 某些价值估计偏离现实
→ 自举把误差写入新的 Target
→ 神经网络把局部误差传播到更多状态
→ 策略与数据分布进一步变化
→ 原有数据更难纠正新误差

误差不再只是一个点上的小偏差，而可能形成正反馈。

6. Semi-Gradient 为什么既必要又危险

TD Loss 常写为：

$$L(\theta)= \frac{1}{2} [ y_t -Q_\theta(s_t,a_t) ]^2$$

其中：

$$y_t = r_t +\gamma \max_{a'} Q_{\theta^-}(s_{t+1},a')$$

目标一侧通常停止梯度，或使用较慢更新的目标网络。

这样做避免预测与目标同时剧烈移动。

但它也意味着：

更新更像是在追踪一个不断变化的固定点，而不是最小化一个永远静止的监督学习目标。

当数据分布、目标网络和在线网络同时变化时，训练曲线可能很难解释。

Loss 短期下降，不代表长期目标一定改善。

7. 一个重要区别：数值稳定不等于策略正确

训练不发散当然重要。

但稳定只是第一步。

一个算法可能：

• Loss 平稳下降；
• 梯度没有爆炸；
• Q 值范围正常；
• 回报曲线看起来缓慢上升；

却仍然学到错误策略。

原因可能包括：

• 奖励代理设计错误；
• 数据覆盖不足；
• 探索不够；
• 价值估计在关键区域失真；
• 环境变化；
• 测试分布不同。

因此，需要区分：

这些条件彼此相关，但不能混为一谈。

8. DQN 的稳定化机制在压住什么

DQN 不是靠单一公式工作，而是依赖多种稳定化机制。

8.1 Replay Buffer

作用：

• 打散时间相关性；
• 提高样本复用率；
• 增加 batch 多样性。

代价：

• 数据来自旧策略；
• 分布可能过时。

8.2 Target Network

作用：

• 减慢目标变化；
• 降低在线网络追逐自身预测的速度。

代价：

• 目标更稳定，但也更陈旧；
• 同步频率需要权衡。

8.3 Double DQN

作用：

• 分离动作选择与动作评价；
• 缓解最大化偏差。

代价：

• 不能消除所有估计错误；
• 仍然依赖网络与数据覆盖。

这些机制并没有推翻 Bellman 方程，而是在给反馈循环增加阻尼。

9. 为什么 PPO 也强调限制更新幅度

致命三角最常用于解释价值方法，但背后的系统直觉更广泛：

当策略、数据和估计器互相影响时，一次过大的更新可能改变下一轮学习条件。

PPO 使用概率比率：

$$r_t(\theta)= \frac{ \pi_\theta(a_t\mid s_t)}{ \pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$$

并通过 Clip 限制更新不要走得太远。

RLHF 中的 KL 惩罚也有类似目的：

$$D_{\mathrm{KL}} ( \pi_\theta \parallel \pi_{\mathrm{ref}} )$$

它们不是在修复同一个数学细节，却体现了共同工程哲学：

当系统处在反馈循环中，更新步幅本身就是安全装置。

10. Offline RL 为什么更加敏感

Offline RL 使用固定数据集训练策略。

智能体不能随时回到环境中采集新数据纠正错误。

假设数据集几乎没有包含某个动作：

$$a_{\mathrm{rare}}$$

模型却因为函数逼近误差高估它：

$$Q(s,a_{\mathrm{rare}}) \mathrm{ 很高}$$

策略可能越来越倾向于选择这个动作。

但数据集又没有足够证据验证它。

这就是分布外动作带来的风险。

Offline RL 常采用保守估计，避免策略过度相信数据集中缺少覆盖的区域。

第 11 章讨论 On-Policy 与 Off-Policy 时会进一步展开。

11. 诊断训练时应该看什么

只看平均回报通常不够。

工程中还需要观察：

1. Q 值或 V 值是否持续膨胀；
2. TD Error 分布是否异常；
3. 梯度范数是否爆炸；
4. 新旧策略 KL 是否突然变大；
5. Replay Buffer 中数据是否过时；
6. 训练回报与评估回报是否分离；
7. 不同随机种子结果是否差异巨大；
8. 分布外状态上价值估计是否异常乐观。

这些指标不是为了制造更多仪表盘，而是为了回答：

反馈循环究竟在哪一个位置开始失控？

12. 边界：致命三角不是一句万能解释

训练不稳定时，把所有问题都归结为“致命三角”也不准确。

系统还可能因为以下原因失败：

• 奖励尺度不合理；
• 状态归一化错误；
• 终止状态处理错误；
• 探索不足；
• 学习率过高；
• 神经网络结构不适合；
• 实现中的 mask 或 batch 逻辑错误；
• 评估流程泄漏。

致命三角提供的是一种系统级视角：

当函数逼近、自举和 Off-Policy 同时存在时，需要对误差传播保持高度警惕。

它不是排除其他故障的借口。

13. 回归全景图（Callback）

致命三角没有告诉我们停止使用函数逼近、自举或旧数据。它告诉我们：三种效率工具叠加后，系统已经进入反馈控制问题，必须主动增加稳定机制。

14. 本章小结

致命三角由三部分组成：

函数逼近 + 自举 + Off-Policy

函数逼近让一次更新影响大量状态。

自举让估计误差进入新的训练目标。

Off-Policy 让训练数据与当前策略关心的分布出现差异。

三者结合后，小误差可能沿循环放大。

下一部分，我们将专门讨论数据：

为什么强化学习最反直觉的地方之一，是学习者每更新一次，下一轮学习所面对的数据也随之改变？

第五部分：学习者改变了自己的数据

第 10 章：非平稳性：在移动的地面上学习

1. 学会一点，世界就变一点

监督学习通常假设训练数据来自某个相对固定的分布。

模型今天更新一次参数，明天数据集里的图片不会因此改变。猫仍然是猫，狗仍然是狗。

强化学习不同。

策略决定智能体去哪里、做什么、看到什么。策略一旦变化，下一批经验也会变化。

一个游戏智能体学会避开危险区域后，Replay Buffer 中会逐渐减少危险区域的新样本。一个推荐系统更加偏好某类内容后，用户看到的内容结构也会改变。一个语言模型经过偏好优化后，生成风格改变，Reward Model 接收到的输入分布也随之变化。

因此：

强化学习不是在固定数据集上学习，而是在自己不断改造的数据流上学习。

图 10-1：策略更新导致数据分布漂移

2. 状态访问分布

策略：

$$\pi(a\mid s)$$

不仅决定当前动作，也间接决定未来会访问哪些状态。

可以定义折扣状态访问分布：

$$d^\pi(s)= (1-\gamma)\sum_{t=0}^{\infty} \gamma^t P(S_t=s\mid\pi)$$

逐项解释：

状态动作访问分布可以写成：

$$d^\pi(s,a)= d^\pi(s)\pi(a\mid s)$$

它表示：

遵循策略 π 时，状态动作对 (s,a) 被访问到的频率结构。

这条公式很重要。

当策略从：

$$\pi_{\mathrm{old}}$$

更新为：

$$\pi_{\mathrm{new}}$$

状态访问分布也可能变化：

$$d^{\pi_{\mathrm{old}}}(s,a)\neq d^{\pi_{\mathrm{new}}}(s,a)$$

数据分布不是背景条件，而是策略的一部分后果。

3. 一个迷宫例子

假设迷宫中有两片区域：

• 左侧区域安全，但奖励较低；
• 右侧区域风险更高，但可能找到更大奖励。

训练初期，策略接近随机。智能体会同时访问左右两侧。

随着学习推进，策略发现左侧更容易获得稳定回报，于是越来越少进入右侧。

这时，右侧区域的数据逐渐稀缺。

如果右侧深处其实存在更优路径，智能体也可能永远无法发现。

这里同时出现三个问题：

1. 策略改变状态访问分布；
2. 数据不足限制价值估计；
3. 探索不足锁定局部最优。

这说明数据问题与探索问题天然相连。

4. 两种不同的非平稳性

“非平稳”经常被笼统使用，但至少要区分两类。

4.1 环境本身变化

例如：

• 用户兴趣随季节变化；
• 金融市场结构变化；
• 其他智能体改变策略；
• 机器人硬件磨损；
• 线上产品规则更新。

可以写成：

$$P_t(s',r\mid s,a)\neq P_{t+1}(s',r\mid s,a)$$

环境动力学本身随时间变化。

4.2 策略诱导的数据漂移

即使环境完全不变，策略更新也会改变数据分布：

$$\pi_{\mathrm{old}} \to \pi_{\mathrm{new}} \Rightarrow d^{\pi_{\mathrm{old}}} \to d^{\pi_{\mathrm{new}}}$$

环境规则没有变化，但智能体走过的路径变化了。

本章主要讨论第二类。

它是强化学习内生的非平稳性：

学习本身改变了下一轮学习所依赖的数据。

5. 自我更新循环

将过程写成闭环：

当前策略
→ 采取动作
→ 访问特定状态
→ 收集新数据
→ 估计价值或优势
→ 更新参数
→ 新策略
→ 访问新的状态分布

这就是序章中的自我更新循环。

监督学习更接近：

固定数据集
→ 更新模型
→ 仍然使用同一数据分布

强化学习则是：

策略
→ 生成数据
→ 数据更新策略
→ 新策略生成新数据

因此，训练稳定性不能只看优化器本身。

还要看策略改变数据的速度。

6. 为什么旧数据既宝贵又危险

旧经验很宝贵。

环境交互通常昂贵。如果机器人真实摔倒一次、线上系统展示一次内容、语言模型生成一批长回答，都要付出成本。

因此，我们希望复用转移样本：

$$(s_t,a_t,r_t,s_{t+1})$$

但旧数据来自旧策略：

$$\pi_{\mathrm{old}}$$

当前希望优化的是：

$$\pi_{\mathrm{new}}$$

两者可能不同。

如果差异很小，旧数据仍然有帮助。

如果差异很大，旧数据可能无法代表当前策略真正会访问的区域。

于是产生张力：

这将引出下一章：On-Policy 与 Off-Policy。

7. 语言模型后训练中的分布漂移

大模型后训练同样处在自我更新循环中。

假设初始模型为：

$$\pi_{\mathrm{ref}}$$

经过若干轮优化后，得到：

$$\pi_\theta$$

模型生成回答的分布会变化：

$$y \sim \pi_{\mathrm{ref}}(\cdot\mid x)$$

变为：

$$y \sim \pi_\theta(\cdot\mid x)$$

如果 Reward Model 主要在旧模型回答上训练，它面对新模型产生的回答时，可能进入分布外区域。

模型越擅长优化 Reward Model，越可能找到 Reward Model 不可靠的角落。

这就是为什么 RLHF 常加入 KL 约束：

$$D_{\mathrm{KL}} ( \pi_\theta \parallel \pi_{\mathrm{ref}} )$$

KL 不只是“保持语言风格”。

它还在限制分布漂移速度，避免策略一步跑到评价器缺少经验的区域。

8. 数据覆盖：没有访问，就很难知道

假设状态空间中有一片区域：

$$\mathcal{S}_{\mathrm{unseen}}$$

策略很少访问这里：

$$d^\pi(s)\approx0, \quad s\in\mathcal{S}_{\mathrm{unseen}}$$

那么价值网络在这片区域的输出主要依赖函数逼近的外推，而不是充足数据。

它可能给出任意估计。

如果策略随后被这些乐观估计吸引，就可能进入危险区域。

这在 Offline RL 中尤其突出，因为智能体无法随时回到环境中采集新数据纠正错误。

覆盖问题可以用一句话概括：

对从未认真看过的世界，模型仍然可以给出答案，但不一定值得相信。

9. 为什么更新不能太快

策略更新太快，会同时带来两种变化：

1. 动作概率突变；
2. 状态访问分布突变。

旧数据迅速过时，价值估计器来不及适应，新策略又继续生成更不同的数据。

因此，许多算法会限制更新幅度。

PPO 使用概率比率：

$$r_t(\theta)= \frac{ \pi_\theta(a_t\mid s_t)}{ \pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$$

KL 约束则衡量新旧策略分布差异：

$$D_{\mathrm{KL}} ( \pi_\theta \parallel \pi_{\mathrm{old}} )$$

这些机制体现同一个工程判断：

数据分布会随着策略变化，因此策略不能在一次更新中跑得太远。

10. Replay Buffer 的时间尺度

Replay Buffer 中的数据越多，覆盖可能越广。

但数据也可能越旧。

假设 buffer 包含多个历史策略的数据：

$$\mathcal{D} = \bigcup_{k=1}^{K} \mathcal{D}_{\pi_k}$$

其中：

一个大 buffer 像一座经验仓库。

优点：

• 打散时间相关性；
• 保存低频经验；
• 提高样本复用率。

风险：

• 新旧策略混杂；
• 旧数据比例过高；
• 当前策略关心的区域覆盖不足；
• 环境变化后历史经验过时。

因此，Replay Buffer 也需要考虑时间尺度。

11. 边界：数据漂移不是错误，而是系统特征

数据分布变化并不一定意味着算法出错。

一个真正学习成功的智能体，本来就应该改变行为。

机器人学会走路后，摔倒数据会减少。游戏智能体学会规避危险后，危险区域访问会变化。语言模型学会更好回答后，生成分布也应变化。

问题不是消灭漂移，而是管理漂移。

需要问：

1. 数据变化速度是否超过估计器适应速度？
2. 旧数据是否仍然适用？
3. 新策略是否进入缺少覆盖的区域？
4. 评价器是否能可靠评价新分布？
5. 探索是否仍然足够？

非平稳性不是附属问题，而是强化学习的运行方式。

12. 回归全景图（Callback）

非平稳性不是一个等待修复的异常，而是强化学习的基本事实：学习者改变行为，行为改变数据，数据再次塑造学习者。

13. 本章小结

策略不仅决定动作，还决定数据分布。

折扣状态访问分布为：

$$d^\pi(s)= (1-\gamma)\sum_{t=0}^{\infty} \gamma^t P(S_t=s\mid\pi)$$

状态动作访问分布为：

$$d^\pi(s,a)= d^\pi(s)\pi(a\mid s)$$

策略变化后：

$$d^{\pi_{\mathrm{old}}} \neq d^{\pi_{\mathrm{new}}}$$

下一章将进入一个经典分叉：

应该只使用当前策略的新数据，还是允许复用其他策略留下的旧经验？

第 11 章：On-Policy 与 Off-Policy：旧经验还能用吗

1. 用昨天的经验训练今天的自己

假设一个机器人昨天还走得摇摇晃晃。

今天，它已经学会更稳定的步态。

昨天收集的大量经验还能不能继续训练今天的策略？

如果全部丢弃，交互成本很高。如果全部保留，旧经验又可能不再代表今天真正会遇到的状态。

这就是 On-Policy 与 Off-Policy 的分叉。

它不是一个术语分类游戏，而是在回答：

我们愿意为样本复用支付多少分布偏差？

2. 行为策略与目标策略

先区分两个策略。

行为策略（behavior policy）记为：

$$b(a\mid s)$$

它负责实际采集数据。

目标策略（target policy）记为：

$$\pi(a\mid s)$$

它是我们真正想评价或优化的策略。

如果：

$$b=\pi$$

数据由当前目标策略自己产生，称为 On-Policy。

如果：

$$b\neq\pi$$

使用另一个策略的数据学习目标策略，称为 Off-Policy。

3. On-Policy：数据新鲜，但价格昂贵

On-Policy 方法使用当前策略采集的数据更新当前策略。

过程可以写成：

当前策略 π
→ 采集新轨迹
→ 使用这些轨迹更新 π
→ 丢弃或弱化旧轨迹
→ 使用新策略继续采样

优点：

• 数据与当前策略匹配；
• 分布关系更清晰；
• 理论分析通常更直接。

代价：

• 旧数据很快过时；
• 样本利用率较低；
• 环境交互成本高。

PPO 通常被视为 On-Policy 方法。虽然一批数据可能被重复训练若干 epoch，但更新幅度受到限制，数据不会无限期复用。

4. Off-Policy：经验复用，但需要缴税

Off-Policy 方法允许使用旧策略或其他策略的数据。

过程可以写成：

行为策略 b 采集数据
→ 保存经验
→ 目标策略 π 使用这些数据学习

优点：

• 样本复用率高；
• 可以使用 Replay Buffer；
• 可以利用其他来源的数据；
• 更适合昂贵环境交互。

代价：

• 数据分布与当前策略不一致；
• 估计可能带偏；
• 分布外动作风险更高；
• 修正机制可能产生高方差。

Q-Learning、DQN、DDPG、TD3 和 SAC 都常采用 Off-Policy 数据。

5. SARSA 与 Q-Learning：一个关键分叉

SARSA 与 Q-Learning 的差异非常适合建立直觉。

5.1 SARSA

SARSA 更新为：

$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [ r_t +\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t) ]$$

其中，下一动作：

$$a_{t+1} \sim \pi(\cdot\mid s_{t+1})$$

SARSA 使用策略实际会采取的下一动作。

它学习：

按照当前行为继续走，长期价值是多少？

5.2 Q-Learning

Q-Learning 更新为：

$$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [ r_t +\gamma \max_{a'} Q(s_{t+1},a')-Q(s_t,a_t) ]$$

它不使用实际采样的下一动作，而是使用估计最优动作。

它学习：

即使采样时带有探索，未来如果选择最优动作，长期价值是多少？

SARSA 更贴近当前行为策略。

Q-Learning 则可以一边用探索策略采样，一边学习贪心目标策略。

这就是经典 Off-Policy 思想。

6. Importance Sampling：怎样修正分布差异

假设数据来自行为策略：

$$b(a\mid s)$$

但我们想估计目标策略：

$$\pi(a\mid s)$$

可以使用重要性采样比率：

$$\rho_t = \frac{ \pi(a_t\mid s_t)}{ b(a_t\mid s_t)}$$

逐项解释：

如果：

$$\rho_t>1$$

说明目标策略比行为策略更重视这个动作，样本权重应提高。

如果：

$$\rho_t<1$$

说明目标策略较少选择这个动作，样本权重应降低。

对于一段轨迹，权重可能连乘：

$$\rho_{t:T-1} = \prod_{k=t}^{T-1} \frac{ \pi(a_k\mid s_k)}{ b(a_k\mid s_k)}$$

这能修正分布，却可能产生新问题。

如果某一步：

$$b(a_k\mid s_k)$$

很小，而：

$$\pi(a_k\mid s_k)$$

较大，权重会非常大。

长轨迹连乘后，方差可能爆炸。

7. 手算一次 Importance Sampling

假设在某个状态：

$$b(a_1\mid s)=0.2$$

目标策略为：

$$\pi(a_1\mid s)=0.6$$

那么：

$$\rho = \frac{0.6}{0.2} =3$$

这条样本在目标策略下更重要，因此权重放大为 3。

如果另一个动作：

$$b(a_2\mid s)=0.8$$

$$\pi(a_2\mid s)=0.4$$

那么：

$$\rho = \frac{0.4}{0.8} =0.5$$

样本权重降低。

Importance Sampling 的思想朴素：

数据虽然来自别的策略，但可以按“目标策略有多重视这条样本”重新加权。

8. Coverage：分母不能为零

Importance Sampling 有一个重要前提：

行为策略必须覆盖目标策略可能选择的动作。

如果：

$$b(a\mid s)=0$$

但：

$$\pi(a\mid s)>0$$

那么：

$$\frac{ \pi(a\mid s)}{ b(a\mid s)}$$

无法计算。

更重要的是，数据中根本没有这种动作的经验。

这不是数学技巧能够弥补的。

Coverage 问题可以概括为：

没有见过的行为，无法仅靠重新加权获得可靠知识。

9. Clipping：不要让少数样本支配更新

由于 Importance Sampling 权重可能很大，常见做法是截断：

$$\bar{\rho}_t = \min ( c,\rho_t )$$

其中：

截断降低方差，却引入偏差。

这再次回到上一章：

没有免费的估计。稳定与准确之间总有取舍。

PPO Clip 虽然语境不同，也体现相似工程直觉：不要让概率比率变化过大。

10. Replay Buffer：Off-Policy 的经验仓库

DQN 使用 Replay Buffer 保存历史经验：

$$\mathcal{D} = { (s_t,a_t,r_t,s_{t+1}) }$$

训练时采样：

$$(s,a,r,s') \sim \mathcal{D}$$

Buffer 中的数据来自多个历史策略。

它提高样本效率，也意味着：

$$\mathcal{D} \not\sim d^{\pi_{\mathrm{current}}}$$

当前策略访问分布与 buffer 数据分布并不完全一致。

因此，Replay Buffer 并不是普通数据集。

它是一段策略历史的混合物。

11. Offline RL：只有旧数据，没有重新试错机会

Offline RL 使用固定数据集：

$$\mathcal{D}_{\mathrm{offline}}$$

训练期间不能随时与环境交互采集新数据。

这很适合：

• 医疗；
• 自动驾驶；
• 真实机器人；
• 高成本工业系统；
• 已积累大量历史日志的产品。

但也更加危险。

如果策略开始偏好数据集缺少覆盖的动作，无法立即回到环境中验证。

价值网络可能在分布外区域给出过于乐观的估计。

因此，Offline RL 常强调保守性：

对没有足够数据支持的动作，不要轻易高估。

12. DPO 为什么不能简单等同于 Offline RL

DPO 使用固定偏好对数据：

$$(x,y_w,y_l)$$

它确实具有离线数据特征。

但更准确的说法是：

DPO 是基于离线偏好数据进行策略优化的方法，不应简单等同于完整意义上的 Offline RL。

原因是：

1. 它依赖特定偏好建模与 KL 正则推导；
2. 数据通常是回答偏好对，而不是一般 MDP 转移；
3. 它不显式学习通用 Q 函数；
4. 它将部分奖励与更新结构重新参数化。

但数据覆盖问题仍然存在。

如果偏好数据没有覆盖某类行为，DPO 也难以可靠判断。

矛盾没有消失，只是形式变化。

13. 如何选择 On-Policy 还是 Off-Policy

没有一种数据范式适用于所有任务。

可以问：

真正的工程系统经常处于连续谱上，而不是非黑即白。

14. 回归全景图（Callback）

On-Policy 与 Off-Policy 没有谁绝对优越。它们分别在数据新鲜度、样本复用率、估计偏差和交互成本之间选择不同位置。

15. 本章小结

行为策略负责采样：

$$b(a\mid s)$$

目标策略负责评价或优化：

$$\pi(a\mid s)$$

On-Policy 满足：

$$b=\pi$$

Off-Policy 允许：

$$b\neq\pi$$

重要性采样比率为：

$$\rho_t = \frac{ \pi(a_t\mid s_t)}{ b(a_t\mid s_t)}$$

它修正分布差异，也可能带来高方差。

下一章将把多个稳定机制放在同一张工具图中：

Replay、Target Network、Clip 与 KL 看起来形式不同，它们分别在稳定什么？

第 12 章：经验回放、目标网络与更新约束：稳定化工具箱

1. 不要把所有“补丁”混成一类

强化学习代码中常出现许多稳定化机制：

• Replay Buffer；
• Target Network；
• Gradient Clipping；
• Advantage Normalization；
• Trust Region；
• PPO Clip；
• KL Penalty；
• Entropy Bonus。

它们很容易被统称为“工程补丁”。

但这种说法过于粗糙。

这些机制并不是在修复同一种故障。它们分别控制：

• 样本相关性；
• 目标漂移；
• 梯度尺度；
• 策略突变；
• 参考分布偏离；
• 探索强度。

理解稳定化机制的关键不是背名字，而是问：

它究竟压住了反馈循环中的哪一个位置？

图 12-1：稳定化工具箱

2. Replay Buffer：打散相关性，复用经验

Replay Buffer 保存历史转移：

$$\mathcal{D} = { (s_t,a_t,r_t,s_{t+1}) }$$

训练时随机采样：

$$(s,a,r,s') \sim \mathcal{D}$$

它主要解决两个问题。

2.1 打散时间相关性

连续时间步通常高度相关。

如果机器人连续十步都走在同一条走廊，直接按顺序训练，batch 会缺少多样性。

随机回放将不同时间、不同轨迹的数据混合起来。

2.2 提高样本利用率

一次昂贵交互不必只用一次。

旧经验可以反复进入训练。

2.3 Replay 的代价

旧经验来自旧策略。

因此：

$$\mathcal{D} \not\sim d^{\pi_{\mathrm{current}}}$$

Replay Buffer 在提高样本效率的同时，也引入 Off-Policy 分布差异。

它压住了样本成本，却增加了数据漂移压力。

3. Target Network：让目标慢一点移动

DQN Target 为：

$$y_t = r_t +\gamma \max_{a'} Q_{\theta^-}(s_{t+1},a')$$

其中：

• θ：在线网络参数；
• θ^-：目标网络参数。

在线网络根据 Loss 更新：

$$L(\theta)= \frac{1}{2} [ y_t -Q_\theta(s_t,a_t) ]^2$$

目标网络暂时固定。

3.1 Hard Update

每隔若干步同步一次：

$$\theta^- \leftarrow \theta$$

优点：简单。

代价：同步瞬间目标可能突变。

3.2 Soft Update

缓慢移动：

$$\theta^- \leftarrow \tau\theta +(1-\tau)\theta^-$$

其中：

$$0<\tau\ll1$$

目标网络像一个低通滤波器，不立即追随在线网络。

Target Network 控制的是：

自举目标变化速度。

4. Gradient Clipping：限制单次梯度冲击

如果梯度过大，一次更新可能破坏已经学到的结构。

梯度裁剪写成：

$$g \leftarrow g \cdot \min ( 1,; \frac{c}{|g|} )$$

其中：

如果：

$$|g|\leq c$$

梯度保持不变。

如果：

$$|g|>c$$

梯度被缩小到允许范围。

Gradient Clipping 控制的是数值冲击。

它不会自动修正错误方向。

5. Advantage Normalization：让更新尺度更可控

策略更新常使用 Advantage：

$$\hat{A}_t$$

一个 batch 中，数值尺度可能差异很大。

归一化写成：

$$\hat{A}_t^{\mathrm{norm}} = \frac{ \hat{A}_t-\mu_A}{ \sigma_A+\varepsilon}$$

其中：

它让优化器更容易处理尺度变化。

但要注意：

归一化改变的是相对尺度，不是奖励本身是否正确。

6. Trust Region：新策略不要离旧策略太远

策略梯度希望提高回报。

但如果一次更新太大，旧数据很快失效，新策略可能落入价值估计不可靠区域。

Trust Region 的核心思想是：

在一个局部可信区域内更新策略。

一种约束形式为：

$$\max_\theta ; \mathbf{E}_t [ r_t(\theta)\hat{A}_t ]$$

满足：

$$\mathbf{E}t [ D{\mathrm{KL}} ( \pi_{\theta_{\mathrm{old}}} \parallel \pi_\theta ) ] \leq \delta$$

其中：

TRPO 尝试较严格地实现这一思想。

7. PPO Clip：将 Trust Region 做得更实用

PPO 使用概率比率：

$$r_t(\theta)= \frac{ \pi_\theta(a_t\mid s_t)}{ \pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$$

并定义：

$$L_{\mathrm{PPO}}^{\mathrm{clip}}(\theta)= \mathbf{E}_t [ \min ( r_t(\theta)\hat{A}_t,; \operatorname{clip} ( r_t(\theta), 1-\epsilon, 1+\epsilon )\hat{A}_t ) ]$$

clip 将比率限制在：

$$[1-\epsilon,;1+\epsilon]$$

附近。

PPO 的直觉是：

如果某个动作概率已经改变很多，就不要继续因为同一批旧数据而获得过多收益。

PPO Clip 控制的是：

局部策略更新幅度。

它不是严格等同于 KL 约束，也不是对所有更新提供绝对保证。

8. KL Penalty：用分布锚点限制整体偏离

KL Divergence 衡量两个分布的差异：

$$D_{\mathrm{KL}}(p \parallel q)= \sum_x p(x)\log \frac{p(x)}{q(x)}$$

策略优化中，可加入惩罚：

$$L_{\mathrm{total}} = L_{\mathrm{reward}} +\beta D_{\mathrm{KL}} ( \pi_\theta \parallel \pi_{\mathrm{ref}} )$$

其中：

在 RLHF 中，参考模型通常来自 SFT 模型。

KL 像一根弹性绳：

• 策略可以移动；
• 但偏离越远，代价越大。

它控制的是：

相对参考分布的整体漂移。

9. Entropy Bonus：不要过早失去探索

策略熵定义为：

$$\mathcal{H} ( \pi(\cdot\mid s))= - \sum_a \pi(a\mid s)\log \pi(a\mid s)$$

如果策略集中在少数动作上，熵较低。

如果动作概率更分散，熵较高。

可以在目标中加入熵奖励：

$$J_{\mathrm{total}} = J_{\mathrm{reward}} +\alpha \mathbf{E} [ \mathcal{H} ( \pi(\cdot\mid s)) ]$$

Entropy Bonus 鼓励策略保留一定随机性。

它控制的是：

探索强度与策略塌缩。

第 13 章会详细展开。

10. 一张工具箱对照表

这张表是本章最重要的结论。

不要问：

哪一个技巧最好？

而要问：

系统现在是哪一种循环转得太快？应该在哪个位置增加阻尼？

11. 边界：稳定化也会限制能力

稳定机制不是越强越好。

Replay 过多使用旧数据，策略可能难以快速适应新分布。

Target Network 更新过慢，目标可能过于陈旧。

PPO Clip 过强，策略几乎无法前进。

KL 惩罚过大，模型只能停留在参考策略附近。

Entropy Bonus 过大，策略可能长期保持随机，无法充分利用已知经验。

稳定性与能力提升之间同样存在张力：

系统需要足够稳定，才能学习；也需要允许适度变化，才能成长。

12. 回归全景图（Callback）

稳定化工具没有消除反馈循环。它们像阻尼器、锚点和护栏，让系统能够在循环中继续学习，而不是因为一次更新失控。

13. 本章小结

本章将常见机制拆开归类。

Replay Buffer 管理经验：

$$(s,a,r,s') \sim \mathcal{D}$$

Target Network 减慢目标漂移：

$$\theta^- \leftarrow \tau\theta +(1-\tau)\theta^-$$

PPO Clip 限制局部概率比率：

$$\operatorname{clip} ( r_t(\theta), 1-\epsilon, 1+\epsilon )$$

KL Penalty 限制整体分布偏离：

$$D_{\mathrm{KL}} ( \pi_\theta \parallel \pi_{\mathrm{ref}} )$$

下一部分进入探索问题：

如果智能体只做当前看来最好的事情，它为什么可能永远找不到真正更好的选择？

第六部分：探索未知，也承担风险

第 13 章：探索与利用：为什么不能总选当前最优

1. 一家熟悉的小店，还是一条未知街道

假设你出差到一座陌生城市，需要选择晚餐。

街角有一家已经吃过的小店。味道不错，大概能得到 7 分。远处还有许多没去过的餐厅，其中一些可能更差，也可能有一家能得到 10 分。

如果今晚只想稳妥吃饭，选择熟悉小店很合理。

但如果要在这座城市生活一年，永远只去同一家店就可能错过更好的选择。

这就是探索与利用（exploration versus exploitation）。

• 利用：选择当前看来最好的动作，获得已知收益；
• 探索：尝试尚未充分了解的动作，获得新信息。

强化学习无法绕开这个矛盾。

只利用，智能体可能困在局部最优。

只探索，智能体又无法稳定获得收益。

图 13-1：探索与利用

2. Multi-Armed Bandit：最小化的探索实验室

探索问题最简单的版本称为多臂老虎机（Multi-Armed Bandit）。

假设有 K 台老虎机。每台机器对应一个动作：

$$a\in{1,2,\ldots,K}$$

选择动作 a 后，会得到随机奖励：

$$R_t$$

每个动作的真实期望奖励为：

$$q_*(a) = \mathbf{E} [ R_t \mid A_t=a ]$$

其中：

问题是：

智能体不知道 q_*(a)，只能一边尝试，一边估计。

Bandit 没有复杂状态转移，却保留了探索的核心矛盾。

3. 动作价值估计

设动作 a 已经被选择：

$$N_t(a)$$

次。

经验平均奖励为：

$$Q_t(a)= \frac{ \sum_{i=1}^{t-1} R_i \mathbf{1}(A_i=a)}{ N_t(a)}$$

其中：

也可以使用增量更新：

$$Q_{n+1} = Q_n +\frac{1}{n} [ R_n-Q_n ]$$

这条公式与前面价值更新形式非常相似：

新估计 = 旧估计 + 步长 × 新证据与旧估计之差

4. 贪心策略为什么会被早期运气锁死

最直接的策略是：

$$A_t = \arg\max_a Q_t(a)$$

这称为贪心策略。

它总是选择当前估计价值最高的动作。

问题在于，早期样本很少，估计噪声很大。

假设：

• 动作 A 的真实期望为 6；
• 动作 B 的真实期望为 8。

第一次尝试时：

• A 偶然得到 7；
• B 偶然得到 3。

贪心策略会继续选择 A。

如果之后不再尝试 B，智能体永远不会发现 B 才是真正更好的动作。

局部最优并不总是来自复杂地形。

它有时只是来自早期运气。

5. ε-greedy：故意偶尔做一点“不理性”的事

一种简单方法是 ε-greedy。

策略定义为：

$$P(A_t=a)= \begin{cases} 1-\epsilon+\frac{\epsilon}{K}, & a=\arg\max_{a'}Q_t(a') \ \frac{\epsilon}{K}, & \mathrm{其他动作} \end{cases}$$

其中：

直觉是：

大多数时候相信当前判断，偶尔故意尝试其他选择。

5.1 手算一次

假设：

$$\epsilon=0.1$$

并且有：

$$K=4$$

个动作。

当前最佳动作被选中的概率为：

$$1-0.1+\frac{0.1}{4} =0.925$$

其他每个动作被选中的概率为：

$$\frac{0.1}{4} =0.025$$

ε-greedy 很简单，却表达了一个深刻事实：

为了发现最优策略，智能体必须允许自己暂时不做当前看起来最优的事情。

6. ε 应该固定还是衰减

训练初期，价值估计不可靠，通常需要更多探索。

训练后期，估计更加稳定，可以逐渐增加利用。

因此，常见做法是让：

$$\epsilon_t$$

随时间衰减。

例如：

$$\epsilon_t = \max ( \epsilon_{\min}, \epsilon_0\lambda^t )$$

其中：

探索率过快下降，智能体可能过早锁死。

探索率过慢下降，智能体可能长期浪费收益。

探索不是一个开关，而是一种时间安排。

7. Softmax Exploration：价值差异应该影响探索概率

ε-greedy 将非最优动作近似平等对待。

但一个估计价值略低的动作，与一个明显很差的动作，不一定应该获得相同探索机会。

Softmax 策略写成：

$$\pi(a\mid s)= \frac{ \exp ( Q(s,a)/\tau )}{ \sum_{a'} \exp ( Q(s,a')/\tau )}$$

其中：

当：

$$\tau\to0$$

策略越来越接近贪心。

当：

$$\tau$$

较大时，动作概率更加均匀。

温度控制：

策略对价值差异有多敏感。

语言模型生成中的 temperature，也体现类似直觉。

8. Entropy Bonus：把随机性写入目标

策略熵定义为：

$$\mathcal{H} ( \pi(\cdot\mid s))= - \sum_a \pi(a\mid s)\log \pi(a\mid s)$$

熵较高，说明策略更分散。

熵较低，说明策略集中在少数动作。

可以将熵加入目标：

$$J_{\mathrm{total}} = J_{\mathrm{reward}} +\alpha \mathbf{E} [ \mathcal{H} ( \pi(\cdot\mid s)) ]$$

其中：

Entropy Bonus 鼓励策略保留多样性。

它不是为了永远随机，而是避免过早塌缩。

9. Optimism：对未知保持适度乐观

另一条路线是：

没有充分尝试过的动作，不应该过早判死刑。

可以将初始价值设得较高：

$$Q_0(a)=Q_{\mathrm{optimistic}}$$

如果一个动作尚未充分尝试，它会因为乐观估计而被选择。

随着实际奖励出现，估计逐渐回落到现实。

这种方法称为乐观初始化。

它鼓励探索，却依赖任务尺度。

如果初始值太高，可能浪费大量尝试；如果太低，又不足以推动探索。

10. UCB：奖励高，还不够；不确定性也值钱

Upper Confidence Bound，简称 UCB。

它不只看平均奖励，还考虑不确定性。

一种常见形式为：

$$A_t = \arg\max_a [ Q_t(a)+c \sqrt{ \frac{ \ln t}{ N_t(a)}} ]$$

逐项解释：

UCB 将动作价值分成两部分：

当前已知收益 + 尚未充分了解的潜在价值

当某个动作尝试次数很少：

$$N_t(a)$$

较小，探索奖励较大。

尝试次数增加后，不确定性奖励逐渐下降。

10.1 手算一次

假设：

$$t=100$$

$$c=1$$

动作 A：

$$Q(A)=7,\quad N(A)=50$$

动作 B：

$$Q(B)=6.5,\quad N(B)=2$$

动作 A 的 UCB 为：

$$7+ \sqrt{ \frac{\ln100}{50}} \approx 7.30$$

动作 B 的 UCB 为：

$$6.5+ \sqrt{ \frac{\ln100}{2}} \approx 8.02$$

虽然 B 当前平均奖励较低，但因为尚未充分尝试，它值得继续探索。

11. Thompson Sampling：按照不确定性采样

Thompson Sampling 使用贝叶斯视角。

对每个动作的未知价值维护一个后验分布：

$$p ( q(a)\mid \mathcal{D} )$$

每次决策时：

1. 从每个动作后验分布中采样一个可能价值；
2. 选择采样值最高的动作；
3. 观察奖励；
4. 更新后验。

写成：

$$\tilde{q}(a)\sim p ( q(a)\mid \mathcal{D} )$$

然后：

$$A_t = \arg\max_a \tilde{q}(a)$$

Thompson Sampling 的直觉是：

不确定性不是附加噪声，而是决策的一部分。

12. Contextual Bandit：当选择取决于场景

普通 Bandit 没有状态。

现实中，选择通常依赖上下文：

• 不同用户偏好不同内容；
• 不同时间适合不同推荐；
• 不同提示词适合不同回答策略。

Contextual Bandit 引入上下文：

$$x_t$$

动作价值变为：

$$q_*(a\mid x_t)$$

策略根据上下文选择动作：

$$A_t \sim \pi(\cdot\mid x_t)$$

Contextual Bandit 仍然没有完整长时序状态转移，却已经连接推荐系统、广告投放和在线决策。

13. 探索不是噪声，而是信息投资

许多探索机制看起来像故意制造随机性：

• ε-greedy；
• Softmax temperature；
• Entropy Bonus；
• 乐观初始化；
• UCB；
• Thompson Sampling。

但探索不应被简单理解为“加一点噪声”。

更准确的说法是：

智能体暂时牺牲一部分眼前收益，以换取关于未知世界的信息。

信息本身具有未来价值。

一次看似吃亏的尝试，可能改善后续许多决策。

14. 边界：简单探索在长序列中会失效

在 Bandit 中，随机尝试一个动作就能直接观察结果。

但在长序列任务中，真正有价值的发现可能需要连续做出一系列特定动作。

例如：

先拿钥匙
→ 穿过走廊
→ 避开守卫
→ 打开隐藏门
→ 获得奖励

ε-greedy 在每一步随机尝试，很难偶然完成整条链。

探索需要更深的时间结构。

下一章将讨论：

当奖励极其稀疏，随机试错为什么不够？智能体如何主动寻找新颖状态和有信息的路径？

15. 回归全景图（Callback）

探索没有消灭不确定性。它承认不确定性，并把一部分行动预算投入到减少不确定性上。

16. 本章小结

ε-greedy 使用：

$$P(A_t=a)= \begin{cases} 1-\epsilon+\frac{\epsilon}{K}, & a=\arg\max_{a'}Q_t(a') \ \frac{\epsilon}{K}, & \mathrm{其他动作} \end{cases}$$

Softmax 使用温度控制分布：

$$\pi(a\mid s)= \frac{ \exp ( Q(s,a)/\tau )}{ \sum_{a'} \exp ( Q(s,a')/\tau )}$$

UCB 将不确定性写入选择：

$$A_t = \arg\max_a [ Q_t(a)+c \sqrt{ \frac{ \ln t}{ N_t(a)}} ]$$

下一章继续深入：

如果发现奖励需要连续做对许多步，简单随机探索为什么远远不够？

第 14 章：深度探索：从随机试错到主动寻找信息

1. 随机走一步，不等于真正探索

上一章讨论了 ε-greedy。

它让智能体偶尔随机尝试其他动作。

但在很多任务中，真正有价值的奖励藏得很深。

例如：

离开起点
→ 拿到钥匙
→ 穿过走廊
→ 找到隐藏门
→ 打开宝箱
→ 获得奖励

如果每一步都只靠低概率随机动作，完整走通这条链的概率会非常小。

假设每一步正确探索动作的概率为：

$$p$$

连续走对 n 步的概率为：

$$p^n$$

如果：

$$p=0.1$$

并且：

$$n=6$$

那么：

$$p^n = 0.1^6 = 0.000001$$

仅靠局部随机噪声，很难发现长链奖励。

这就是深度探索（deep exploration）问题。

2. 稀疏奖励为什么让学习陷入沉默

假设奖励只有抵达终点时才出现：

$$r_t = \begin{cases} 1, & \mathrm{抵达目标}\ 0, & \mathrm{其他情况} \end{cases}$$

训练初期，大量轨迹都是：

$$(0,0,0,\ldots,0)$$

无论智能体向左走还是向右走，无论发现新房间还是原地打转，奖励看起来都一样。

外部奖励没有告诉它：

哪一种尝试更值得继续？

于是，探索问题变成信息问题：

即使尚未得到任务奖励，能否鼓励智能体访问新颖、有信息、可能带来未来突破的状态？

3. Intrinsic Motivation：给好奇心一点奖励

外部环境提供的奖励称为外在奖励：

$$r_t^{\mathrm{ext}}$$

为了鼓励探索，可以加入内在奖励：

$$r_t^{\mathrm{int}}$$

总奖励写成：

$$r_t = r_t^{\mathrm{ext}} +\beta r_t^{\mathrm{int}}$$

其中：

内在奖励不是最终目的。

它像路灯，在外部奖励稀疏时帮助智能体继续前进。

但路灯也可能把智能体带偏。

4. Count-Based Exploration：少见的状态更值得看

最直观的内在奖励来自访问次数。

设状态 s 被访问次数为：

$$N(s)$$

可以定义探索奖励：

$$r^{\mathrm{int}}(s)= \frac{1}{ \sqrt{ N(s)}}$$

访问次数少时，奖励较大。

访问次数增加后，奖励逐渐下降。

例如：

直觉是：

第一次看见某个状态很有价值，第一百次再看就没那么新鲜。

4.1 高维状态的问题

图像、机器人姿态和语言上下文几乎每次都不同。

直接统计：

$$N(s)$$

很难奏效。

因此，需要伪计数、状态哈希、密度模型或表示学习。

5. Curiosity：预测不准的地方值得探索

另一种思路是：

如果世界模型难以预测某个转移，说明那里还有新信息。

设特征编码器为：

$$\phi(s)$$

前向模型尝试预测下一状态特征：

$$\hat{\phi}(s_{t+1})= f_\theta ( \phi(s_t),a_t )$$

可以将预测误差作为内在奖励：

$$r_t^{\mathrm{int}} = \frac{1}{2} | \phi(s_{t+1})- \hat{\phi}(s_{t+1}) |^2$$

逐项解释：

预测误差越大，内在奖励越高。

这鼓励智能体前往模型尚未理解的区域。

6. Noisy TV Problem：不可预测不等于有价值

Curiosity 有一个经典陷阱。

假设房间里有一台电视，每次播放随机噪声。

智能体无论看多少次，都难以预测下一帧。

于是：

$$r_t^{\mathrm{int}}$$

持续很高。

智能体可能沉迷于电视噪声，而不是完成真正任务。

这称为 Noisy TV Problem。

它提醒我们：

不可预测性不等于有价值的信息。

有些噪声是无法学习的随机性，不值得反复探索。

好的探索机制需要区分：

• 尚未理解；
• 原理上不可预测；
• 与任务无关。

7. Random Network Distillation

Random Network Distillation，简称 RND。

它使用两个网络：

1. 固定随机目标网络：

$$f_{\mathrm{target}}(s)$$

2. 可训练预测网络：

$$f_\theta(s)$$

内在奖励为：

$$r_t^{\mathrm{int}} = | f_\theta(s_t)- f_{\mathrm{target}}(s_t) |^2$$

如果状态经常出现，预测网络逐渐学会匹配固定目标，误差下降。

如果状态新颖，预测误差较大，内在奖励较高。

RND 的直觉是：

新状态还没有被预测网络“背熟”，因此值得继续关注。

它避免显式统计每个高维状态的访问次数。

但 RND 同样依赖状态表示、归一化和奖励尺度。

8. Information Gain：探索是减少不确定性

更一般地，探索可以理解为减少模型不确定性。

假设模型参数为：

$$\theta$$

已有数据为：

$$\mathcal{D}$$

观察新样本后：

$$\mathcal{D}' = \mathcal{D} \cup { (s_t,a_t,r_t,s_{t+1}) }$$

信息增益可以写成后验变化：

$$I_t = D_{\mathrm{KL}} ( p(\theta\mid\mathcal{D}')\parallel p(\theta\mid\mathcal{D}))$$

其中：

信息增益高，说明新经验显著改变了模型对世界的理解。

这比单纯“预测误差大”更加接近探索本质。

但真实深度网络中，可靠计算后验通常很困难。

9. Hierarchical RL：把长路径拆成子目标

如果奖励需要几十步甚至几百步才能获得，逐步探索非常困难。

一种方法是引入层级结构。

高层策略选择子目标：

$$g_t \sim \pi_{\mathrm{high}} (\cdot\mid s_t)$$

低层策略选择动作：

$$a_t \sim \pi_{\mathrm{low}} (\cdot\mid s_t,g_t)$$

其中：

例如：

高层：先去厨房
低层：向前、左转、开门
高层：再拿钥匙
低层：接近桌子、伸手、抓取

层级策略把长时间探索拆成更短任务。

它提高可搜索性，也引入子目标设计与层级信用分配问题。

10. MCTS：在行动之前先展开可能未来

另一条路线是搜索。

Monte Carlo Tree Search，简称 MCTS。

它不只依赖当前网络直接选动作，而是在决策前模拟多条可能未来。

MCTS 常包含四步：

1. Selection：根据已有统计选择节点；
2. Expansion：展开新节点；
3. Evaluation：估计叶子节点价值；
4. Backup：将结果向上回传。

节点动作选择常使用类似 UCB 的规则：

$$a = \arg\max_a [ Q(s,a)+c \sqrt{ \frac{ \ln N(s)}{ N(s,a)}} ]$$

其中：

搜索将探索从“真实环境中的试错”部分转移到“决策前的模拟展开”。

11. AlphaGo 与 AlphaZero：学习与搜索互相增强

AlphaGo 系列的重要启示不是某个单独公式，而是学习与搜索之间的循环。

策略网络提供候选动作先验。

价值网络估计局面。

MCTS 使用网络缩小搜索空间。

搜索结果反过来生成更强监督信号。

可以概括为：

神经网络
→ 引导搜索
→ 搜索改进决策
→ 产生更好的训练目标
→ 改进神经网络

这是一种新的自我更新循环。

它不是单纯增加随机噪声，而是在内部模拟中主动分配计算预算。

12. Model-Based Exploration：先学习世界，再在想象中试错

如果能够学习环境模型：

$$\hat{P}\theta(s{t+1}\mid s_t,a_t)$$

智能体可以在模型中模拟未来。

真实环境交互昂贵，模型中的“想象轨迹”成本较低。

但模型可能不准确。

模型误差会沿模拟轨迹累积。

因此：

想象扩大了探索范围，也可能扩大错误世界观。

第 19 章会详细讨论 Model-Based RL。

13. 大模型推理中的探索

大模型生成多个候选回答，也是一种有限探索。

对于同一个提示词：

$$x$$

采样多个回答：

$${ y_1,y_2,\ldots,y_G }$$

再使用 Verifier 或奖励模型评价：

$$R(x,y_i)$$

选择更好的回答，或使用组内相对优势更新策略。

这与 GRPO、Best-of-N、搜索和推理时采样都有联系。

探索不再表现为机器人随机走动，而是：

在语言空间中生成不同推理轨迹，再通过评价筛选或学习。

但候选多样性、采样温度、验证器可靠性和计算成本仍然构成边界。

14. 边界：探索奖励也会被优化

内在奖励仍然是奖励。

只要它可以被优化，就可能被投机。

可能出现：

• 反复访问随机噪声；
• 制造不可预测状态；
• 追求新颖而忽略任务；
• 在模型盲区中循环；
• 过度扩散，无法形成稳定技能。

因此，内在奖励通常需要：

• 权重衰减；
• 与外部奖励组合；
• 状态表示约束；
• 随机噪声过滤；
• episodic novelty；
• 安全边界。

探索机制没有摆脱奖励设计问题。

它只是将奖励设计扩展到了“信息价值”。

15. 回归全景图（Callback）

深度探索没有取消试错。它重新组织试错：将随机行动转化为对新颖状态、信息增益、子目标和模拟未来的主动投资。

16. 本章小结

Count-Based Exploration 使用：

$$r^{\mathrm{int}}(s)= \frac{1}{ \sqrt{ N(s)}}$$

Curiosity 使用预测误差：

$$r_t^{\mathrm{int}} = \frac{1}{2} | \phi(s_{t+1})- f_\theta ( \phi(s_t),a_t ) |^2$$

RND 使用随机目标网络：

$$r_t^{\mathrm{int}} = | f_\theta(s_t)- f_{\mathrm{target}}(s_t) |^2$$

MCTS 则在真实行动之前展开可能未来。

下一章进入现实边界：

当试错可能造成真实伤害、昂贵成本或不可逆后果时，探索还应该怎样进行？

第 15 章：探索的边界：安全、成本与可控性

1. 游戏里可以重来，现实中未必

在电子游戏中，智能体失败一次，最多损失一局。

但真实世界并不总允许廉价试错。

• 机器人摔倒可能损坏设备；
• 自动驾驶探索危险动作可能伤害行人；
• 医疗策略不能随意尝试未知剂量；
• 推荐系统可能损害用户信任；
• 大模型探索越过安全边界，可能生成危险内容或利用评价漏洞。

探索仍然重要。

没有探索，智能体无法突破已有能力。

但探索不能再被理解为：

随机做点不一样的事情，看看会发生什么。

现实系统必须问：

哪些尝试可以发生？哪些尝试代价过高？如何在不越过底线的情况下继续学习？

2. 奖励最大化之外，还有约束

标准强化学习目标为：

$$\max_\pi J_R(\pi)$$

其中：

$$J_R(\pi) = \mathbf{E}\pi [ \sum{t=0}^{\infty} \gamma^t r_t ]$$

但安全任务通常还有成本：

$$c_t$$

例如：

• 碰撞；
• 违反规则；
• 能耗超限；
• 风险暴露；
• 有害输出。

累计成本定义为：

$$J_C(\pi) = \mathbf{E}\pi [ \sum{t=0}^{\infty} \gamma^t c_t ]$$

安全约束可以写成：

$$J_C(\pi) \leq d$$

其中：

于是问题变为：

$$\max_\pi J_R(\pi)\quad \mathrm{subject to} \quad J_C(\pi)\leq d$$

这类问题称为 Constrained MDP。

它不再只问“收益多高”，还问“代价是否越界”。

3. 拉格朗日方法：给违规行为定价

约束优化常使用拉格朗日乘子。

定义：

$$\mathcal{L} (\pi,\lambda)= J_R(\pi)- \lambda [ J_C(\pi)-d ]$$

其中：

$$\lambda\geq0$$

逐项解释：

如果成本超标：

$$J_C(\pi)>d$$

惩罚增大。

如果成本低于预算，策略有更多空间追求收益。

拉格朗日方法像动态定价：

越接近安全边界，继续冒险的价格越高。

4. Reward Penalty 与硬约束并不相同

一种简单做法是将成本写进奖励：

$$r_t' = r_t -\beta c_t$$

这很常见，也很实用。

但它与硬约束不同。

如果收益足够高，策略仍可能接受严重违规：

$$\mathrm{高奖励} - \mathrm{有限惩罚} > 0$$

在某些任务中，这不可接受。

例如：

• 不能用更高运输效率交换少量严重碰撞；
• 不能用更高点击率交换系统性欺骗；
• 不能用更高回答奖励交换危险行为。

因此，要区分：

5. Safe Exploration：探索也要有护栏

安全探索的目标不是停止探索，而是控制探索范围。

可以定义安全动作集合：

$$\mathcal{A}_{\mathrm{safe}}(s)$$

策略只能从中选择：

$$a_t \in \mathcal{A}_{\mathrm{safe}}(s_t)$$

或者在策略给出动作后，由安全层修正：

$$a_t^{\mathrm{exec}} = \Pi_{\mathcal{A}_{\mathrm{safe}}} ( a_t )$$

其中：

这像一道防护栏：

策略仍然可以探索，但不能轻易跨过不可接受边界。

6. 仿真器：将危险试错转移到更便宜的世界

真实交互昂贵时，可以先在仿真器中训练。

设真实环境动力学为：

$$P_{\mathrm{real}} (s'\mid s,a)$$

仿真环境为：

$$P_{\mathrm{sim}} (s'\mid s,a)$$

理想情况下：

$$P_{\mathrm{sim}} \approx P_{\mathrm{real}}$$

但两者通常存在差异。

这称为 Sim-to-Real Gap。

仿真器降低了现实成本，却引入模型偏差：

智能体可能学会利用模拟器，而不是适应真实世界。

因此，需要：

• 域随机化；
• 真实数据校准；
• 保守部署；
• 分阶段验证；
• 安全监控。

风险没有消失，只是从真实试错转移到模型误差。

7. Offline RL：不在真实环境中随意探索

当真实试错不可接受时，可以使用历史数据：

$$\mathcal{D}_{\mathrm{offline}}$$

训练策略。

优点：

• 不需要在线尝试危险动作；
• 可以利用已有日志；
• 更适合高成本场景。

但 Offline RL 面临覆盖问题。

数据集中没有出现过的动作，无法可靠评价。

如果策略偏离数据分布太远：

$$\pi(a\mid s)\gg b(a\mid s)$$

估计风险增大。

因此，Offline RL 常强调：

只在数据能够支持的范围内改进。

这与 RLHF 中 KL 约束参考模型的直觉相通。

8. Conservative Learning：对未知保持谨慎

如果某个动作缺少数据，不应因为网络偶然给出高值就盲目相信。

保守学习倾向于压低分布外动作价值。

一种抽象写法是：

$$L_{\mathrm{total}} = L_{\mathrm{Bellman}} +\alpha L_{\mathrm{conservative}}$$

其中：

保守性降低风险，也可能限制能力上限。

如果过于保守，策略永远停留在已有数据附近，无法发现真正更好的行为。

9. Human-in-the-Loop：让人类留在循环中

在高风险系统中，人类不一定应该完全退出。

Human-in-the-Loop 可以表现为：

• 人工审核危险动作；
• 人工批准部署阶段；
• 人类提供偏好数据；
• 人类标注异常样本；
• 人类设置不可越过的规则；
• 人类在不确定性高时接管。

可以定义接管条件：

$$u(s_t) > \delta$$

其中：

当风险过高时，系统不继续自动探索。

人类参与降低自治程度，却提高可控性。

10. 大模型中的安全探索

大模型后训练同样需要探索。

例如，GRPO 对同一提示词生成多个候选回答：

$${ y_1,y_2,\ldots,y_G }$$

这些回答提供有限探索。

但探索范围受到多种机制控制：

• 采样温度；
• Top-p；
• KL 约束；
• 内容过滤；
• Verifier；
• 规则奖励；
• 人工审核；
• 红队测试。

如果模型过于贴近参考策略，能力突破可能受限。

如果偏离太快，Reward Model 或 Verifier 可能进入不可靠区域。

因此，大模型后训练同样在问：

怎样让模型产生足够多的新行为，又不让评价系统失去控制？

11. 风险敏感目标

期望回报不能表达全部风险。

假设两种策略期望相同：

$$\mathbf{E}[G^A] = \mathbf{E}[G^B] =5$$

但：

• A 稳定得到 5；
• B 一半概率得到 20，一半概率得到 -10。

在高风险场景中，可能更偏好 A。

可以考虑方差惩罚：

$$J_{\mathrm{risk}} = \mathbf{E}[G] - \beta \operatorname{Var}(G)$$

或者使用 CVaR 等风险度量。

这说明：

安全不是在奖励最大化之后附加一条规则，而是可能改变“什么叫好策略”本身。

12. 边界：安全与突破之间没有永久答案

探索越强，越可能发现新能力。

探索越强，也越可能进入未知风险。

约束越强，系统越稳定。

约束越强，也越可能锁死上限。

因此，工业系统常采用分阶段策略：

1. 在模拟器中广泛探索；
2. 在离线数据上保守训练；
3. 在受控环境中小规模在线验证；
4. 使用监控、回滚和人工接管；
5. 逐步扩大部署范围。

安全不是一个单独超参数，而是一套制度设计。

13. 回归全景图（Callback）

安全探索没有消灭风险。它将风险显式化、预算化、分阶段化，并为不可接受的后果设置护栏。

14. 本章小结

安全强化学习不仅优化奖励：

$$\max_\pi J_R(\pi)$$

还要满足成本约束：

$$J_C(\pi) \leq d$$

拉格朗日目标为：

$$\mathcal{L} (\pi,\lambda)= J_R(\pi)- \lambda [ J_C(\pi)-d ]$$

安全层还可以限制执行动作：

$$a_t^{\mathrm{exec}} = \Pi_{\mathcal{A}_{\mathrm{safe}}} ( a_t )$$

至此，六个核心问题已经全部展开。

下一部分不再按时间顺序介绍算法，而是回到全景图：

DQN、策略梯度、Actor-Critic 与 Model-Based RL 分别是如何组合这些矛盾的？

第七部分：把算法放回全景图

第 16 章 综合案例一：价值方法如何一步步长成 DQN

如果只看最终形式，DQN 很容易被误解成“用神经网络拟合一个 Q 函数”。这句话不能算错，却漏掉了真正重要的部分。

DQN 不是突然出现的技巧集合。它背后有一条清晰的演化路径：

1. Bellman 方程把长期回报拆成当前奖励与未来价值；
2. 动态规划在已知环境中反复执行评估与改进；
3. Monte Carlo 方法放弃环境模型，直接从完整轨迹学习；
4. SARSA 用一步自举提高更新效率；
5. Q-Learning 允许学习者使用旧策略采集的数据；
6. DQN 用神经网络表示价值函数，再用经验回放与目标网络压住由此产生的不稳定。

每一步都在解决一个真实问题，也都在引入新的代价。

这一章不是算法年表，而是一场组装实验。我们要观察：当目标、时间、更新、估计、数据和探索逐步叠加时，一个现代价值方法是如何长出来的。

一、从 Bellman 方程重新出发

本章起，综合案例采用教材中更常见的 $R_{t+1}$ 记号：执行动作 $A_t$ 后获得奖励 $R_{t+1}$。前文使用的 $r_t$ 表示同一条转移上的奖励。两种记号只是索引约定不同，不应在同一条公式中混用。

在状态 $s$ 下执行动作 $a$，策略 $\pi$ 的动作价值函数定义为：

$$Q^\pi(s,a) = \mathbf{E}\pi [ \sum{k=0}^{\infty} \gamma^k R_{t+k+1} \mid S_t=s,A_t=a ]$$

其中：

Bellman 方程把这段无限长的未来压缩为一步递归：

$$Q^\pi(s,a)= \mathbf{E} [ R_{t+1} + \gamma \sum_{a'} \pi(a'\mid S_{t+1})Q^\pi(S_{t+1},a') \mid S_t=s,A_t=a ]$$

它表达的是：

当前动作的价值，等于眼前奖励，加上下一状态中未来行动价值的折扣期望。

如果寻找的是最优动作价值函数，则有 Bellman 最优方程：

$$Q^(s,a)= \mathbf{E} [ R_{t+1} + \gamma \max_{a'} Q^(S_{t+1},a') \mid S_t=s,A_t=a ]$$

这里最关键的变化是：

$$\sum_{a'}\pi(a'\mid s')Q^\pi(s',a')\quad\longrightarrow\quad \max_{a'}Q^*(s',a')$$

前者问：“按照当前策略行动，未来大概会怎样？”

后者问：“如果未来每一步都选择最有价值的动作，当前动作值多少？”

这就是价值方法的核心野心：不必直接存储一个复杂策略，只要估计好每个动作的长期价值，就可以通过

$$\pi(s)=\arg\max_a Q(s,a)$$

得到行动规则。

二、已知环境时：动态规划在迭代什么

假设环境转移概率 $p(s',r\mid s,a)$ 已知，状态和动作数量也足够小。此时可以直接使用动态规划。

1. Policy Evaluation：评估当前策略

给定策略 $\pi$，反复更新：

$$V_{k+1}(s)= \sum_a \pi(a\mid s)\sum_{s',r} p(s',r\mid s,a)[ r+\gamma V_k(s') ]$$

其中：

每一次迭代，都用上一轮的价值估计重新计算当前状态价值。它已经包含自举。

2. Policy Improvement：让策略偏向更优动作

完成评估后，可以根据动作价值改进策略：

$$\pi_{\mathrm{new}}(s)= \arg\max_a \sum_{s',r} p(s',r\mid s,a)[ r+\gamma V^\pi(s') ]$$

策略评估和策略改进交替进行，构成 Policy Iteration。

3. Value Iteration：把评估和改进压在一起

如果不等待策略被完整评估，而是直接朝最优价值函数迭代：

$$V_{k+1}(s)= \max_a \sum_{s',r} p(s',r\mid s,a)[ r+\gamma V_k(s') ]$$

就得到 Value Iteration。

动态规划揭示了强化学习的基本骨架：

先估计未来，再根据估计改进决策；决策变化后，再重新估计未来。

但动态规划有一个苛刻前提：环境模型必须已知。现实中的机器人、游戏玩家或推荐系统，通常无法提前获得完整的 $p(s',r\mid s,a)$。

于是问题变成：能否只依靠亲自经历过的轨迹学习？

三、Monte Carlo Control：不用自举，先相信完整结局

Monte Carlo 方法等待一个 episode 结束，再计算某个时刻之后真正发生的回报：

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots$$

然后用它更新动作价值：

$$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+ \alpha [ G_t-Q(S_t,A_t) ]$$

其中：

假设一次游戏轨迹中，某个动作之后得到奖励：

$$0,\quad 0,\quad 1$$

取 $\gamma=0.9$，则该动作的回报为：

$$G_t = 0+0.9\times 0+0.9^2\times 1 = 0.81$$

Monte Carlo 方法的优点很直观：它不需要环境模型，也不需要用一个尚未学好的价值估计去教另一个价值估计。

它的缺点同样直观：

1. 必须等轨迹结束后才能更新；
2. 轨迹越长，回报随机性越大；
3. 很难及时把新经验转化为学习信号。

它用“等待完整结局”换取了较少的自举偏差，却付出了高方差和低更新频率。

四、SARSA：每走一步，就更新一步

如果不想等待结局，可以使用一步 TD 目标：

$$Y_t^{\mathrm{SARSA}} = R_{t+1} + \gamma Q(S_{t+1},A_{t+1})$$

更新规则为：

$$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+ \alpha [ R_{t+1} + \gamma Q(S_{t+1},A_{t+1})- Q(S_t,A_t) ]$$

SARSA 的名字来自这五个量：

$$S_t,\ A_t,\ R_{t+1},\ S_{t+1},\ A_{t+1}$$

它在用下一步真实选择的动作 $A_{t+1}$ 更新当前动作价值。

这意味着：如果当前策略带有探索，例如有一定概率随机行动，那么 SARSA 评估的正是这个带探索行为的策略。

悬崖边的差别

想象一个网格世界。最短路径沿着悬崖边缘前进，但探索动作偶尔会让智能体跌落悬崖。

SARSA 会把这种风险计入价值：

$$\mathrm{未来动作可能探索失误} \quad\Rightarrow\quad \mathrm{悬崖边路径价值下降}$$

因此它往往学出更稳妥的路线。

SARSA 是 On-Policy 方法：产生数据的策略和被学习的策略基本一致。

五、Q-Learning：学习一个比行为更贪心的目标

Q-Learning 把下一步真实动作换成最大动作价值：

$$Y_t^{\mathrm{Q}} = R_{t+1} + \gamma \max_{a'} Q(S_{t+1},a')$$

更新规则为：

$$Q(S_t,A_t)\leftarrow Q(S_t,A_t)+ \alpha [ R_{t+1} + \gamma \max_{a'} Q(S_{t+1},a')- Q(S_t,A_t) ]$$

SARSA 与 Q-Learning 的差别只有一处：

$$Q(S_{t+1},A_{t+1})\quad\mathrm{与}\quad \max_{a'}Q(S_{t+1},a')$$

但这处差别改变了问题的性质。

Q-Learning 是 Off-Policy 方法。它允许学习者一边用带探索的行为策略采集数据，一边学习一个更贪心的目标策略。

这提高了数据利用的灵活性，却也引入两个风险：

1. 最大化操作可能放大估计误差；
2. 数据分布与目标策略不再完全一致。

前文讨论过的最大化偏差和分布漂移，已经开始进入系统。

六、从表格走向神经网络

如果状态空间很小，可以为每个 $(s,a)$ 存储一格数值：

但面对图像输入，这种表格迅速失效。屏幕上像素稍有变化，就可能形成一个新状态。

DQN 使用神经网络近似动作价值函数：

$$Q(s,a;\theta)$$

其中：

对离散动作空间，网络通常一次输出所有动作的价值：

$$[ Q(s,a_1;\theta), Q(s,a_2;\theta), \ldots, Q(s,a_m;\theta) ]$$

这让不同状态之间共享表示成为可能。网络不必逐格记忆，它可以学习“前方出现障碍”“角色接近目标”等可复用特征。

但函数逼近也让风险扩大了。

更新一个样本，不再只修改表格中的一格；它会通过共享参数改变许多状态的估计。一个局部误差可能沿着网络参数扩散到整个价值空间。

七、DQN 的损失函数

DQN 使用如下目标：

$$Y_t^{\mathrm{DQN}} = R_{t+1} + \gamma \max_{a'} Q(S_{t+1},a';\theta^-)$$

再最小化平方 TD 误差：

$$\mathcal{L}(\theta)= \mathbf{E}{(s,a,r,s')\sim \mathcal{D}} [ ( r+\gamma\max{a'}Q(s',a';\theta^-)- Q(s,a;\theta))^2 ]$$

其中：

梯度更新为：

$$\theta \leftarrow \theta - \alpha \nabla_\theta \mathcal{L}(\theta)$$

表面上看，这与监督学习很像：有输入、有目标、有平方误差。

但 DQN 的标签并不是固定答案。标签中的

$$Q(s',a';\theta^-)$$

仍然来自学习者自己的估计。

因此它不是在拟合静态真值，而是在用一个暂时冻结的自己训练另一个自己。

八、经验回放压住什么不稳定

在线交互产生的数据通常高度相关：

$$(S_t,A_t,R_{t+1},S_{t+1}), (S_{t+1},A_{t+1},R_{t+2},S_{t+2}), \ldots$$

连续画面彼此相似，连续动作也受同一段情境影响。如果直接按顺序训练，网络会被近期经验牵着走。

DQN 把转移存入经验回放缓冲区：

$$\mathcal{D} = { (s_i,a_i,r_i,s'i) }{i=1}^{N}$$

训练时随机抽取小批量样本：

$$(s,a,r,s')\sim \operatorname{Uniform}(\mathcal{D})$$

它主要缓解两件事：

1. 打散时间相关性；
2. 重复利用旧数据，提高样本效率。

但经验回放也会把问题推向 Off-Policy：

缓冲区中的经验来自过去的策略，而当前网络已经发生变化。

于是旧经验既是资产，也是分布漂移的来源。

九、目标网络压住什么不稳定

如果训练目标和被训练的预测都由同一组参数产生：

$$( r+\gamma\max_{a'}Q(s',a';\theta)- Q(s,a;\theta))^2$$

那么每次更新 $\theta$，预测会变化，目标也会变化。学习者像是在追逐一个同步移动的靶子。

DQN 复制出一组目标网络参数：

$$\theta^- \leftarrow \theta$$

但只每隔若干步更新一次。两次同步之间，$\theta^-$ 保持不变。

这样，当前网络暂时拥有一个相对稳定的训练目标：

$$r+\gamma\max_{a'}Q(s',a';\theta^-)$$

目标网络没有消除自举。它只是降低了自举目标变化的速度。

这一区分很重要：

稳定化工具通常不是删除矛盾，而是让矛盾在可控的时间尺度上发生。

十、DQN 中的致命三角

DQN 同时拥有：

1. 函数逼近：使用神经网络 $Q(s,a;\theta)$；
2. 自举：用下一状态的估计更新当前估计；
3. Off-Policy 学习：从经验回放中的旧数据学习。

这正是致命三角。

它不是说 DQN 必然失败，而是说系统具备不稳定的条件。经验回放和目标网络之所以重要，是因为它们分别在不同位置降低风险。

DQN 不是终点。它是一种平衡：允许系统在复杂状态空间中学习，同时尽量不让误差传播失控。

十一、价值方法的适用范围与局限

价值方法尤其适合：

1. 动作空间离散且规模不太大；
2. 能够通过比较动作价值直接选出动作；
3. 希望充分复用历史数据；
4. 环境交互成本较高，需要较强样本利用率。

它也有明显局限。

1. 连续动作难以直接最大化

如果动作是机械臂关节角度、汽车方向盘角度或连续控制信号，那么：

$$\arg\max_a Q(s,a)$$

本身可能成为困难的优化问题。

2. 随机策略不是自然产物

价值方法通常通过 $\epsilon$-greedy 等外部机制加入探索。策略的随机性更像附加层，而不是目标函数中的原生组成部分。

3. 价值误差会直接变成行动误差

策略通过

$$\arg\max_a Q(s,a)$$

产生。哪怕多个动作价值只差一点，估计顺序一旦出错，行动就会突然切换。

这会把我们带到下一章：

如果不再先学习“每个动作值多少”，而是直接学习“应该如何行动”，会怎样？

十二、演化路径：每一次进步都转移了矛盾

理解这一张表，比背诵算法步骤更重要。

回归全景图（Callback）

现在把 DQN 放回六个坐标轴。

再看三条反馈循环：

DQN 的价值不在于消灭了强化学习的困难，而在于把多个困难压缩到一个可以运行、可以调试、可以扩展的工程结构中。

本章小结

价值方法的发展可以概括为一句话：

为了更早更新、更充分利用数据并处理更复杂的状态，学习者逐步接受了自举、Off-Policy 和函数逼近；随后又不得不发明稳定化工具，管理这些选择带来的风险。

DQN 是前文多个主题的第一次完整汇合：

• Bellman 方程负责连接现在与未来；
• TD 误差负责把长期目标变成一次更新；
• Q-Learning 允许行为策略与目标策略分离；
• 神经网络负责跨状态泛化；
• 经验回放与目标网络负责降低不稳定；
• 探索策略负责持续制造新数据。

下一章，我们将换一条路线：不再把策略藏在 $\arg\max Q$ 后面，而是直接学习策略本身。

第 17 章 综合案例二：为什么要直接学习策略

价值方法的行动规则很自然：

$$\pi(s)=\arg\max_a Q(s,a)$$

先估计每个动作值多少，再选价值最高的动作。

但这不是唯一道路。在很多任务中，我们更希望直接学习：

$$\pi_\theta(a\mid s)$$

也就是：在状态 $s$ 下，动作 $a$ 应该以多大概率被选择。

这种路线称为策略梯度方法。它不再把策略藏在动作价值函数后面，而是让策略成为优化对象本身。

这一步看似只是换了一个输出形式，实际上改变了整个学习结构。

一、为什么 $\arg\max Q$ 并不总是理想答案

1. 连续动作空间中的最大化很困难

假设机器人手臂的动作由多个连续关节角度构成：

$$a= [ a_1,a_2,\ldots,a_d ] \in \mathbb{R}^d$$

若使用价值方法，每次行动前都要解：

$$a^* = \arg\max_a Q(s,a)$$

离散动作只有几个按钮时，逐个比较并不困难。但连续动作有无限多种取值，寻找最大值本身就可能是一个昂贵的优化问题。

如果策略网络直接输出动作或动作分布，行动会更简单：

$$a \sim \pi_\theta(\cdot\mid s)$$

2. 某些最优策略本来就需要随机性

在石头剪刀布中，如果永远选择当前看起来最好的动作，对手很快就能利用这种规律。

理想策略不是固定输出一个动作，而是保持某种概率分布：

$$\pi(\mathrm{石头})= \pi(\mathrm{剪刀})= \pi(\mathrm{布})= \frac{1}{3}$$

随机策略不是偶然噪声，而可能是解的一部分。

3. 动作价值的微小误差会造成决策突变

假设两个动作的估计值为：

$$Q(s,a_1)=1.01, \qquad Q(s,a_2)=1.00$$

策略选择 $a_1$。

如果估计略微变化：

$$Q(s,a_1)=0.99, \qquad Q(s,a_2)=1.00$$

动作会突然切换到 $a_2$。

$\arg\max$ 是离散跳变。直接参数化策略则可以让行为变化更加平滑。

二、参数化策略：直接描述如何行动

用参数 $\theta$ 表示策略：

$$\pi_\theta(a\mid s)= \Pr(A_t=a\mid S_t=s;\theta)$$

对离散动作，策略网络通常输出 logits：

$$z_\theta(s) = [ z_1,z_2,\ldots,z_m ]$$

再通过 Softmax 得到动作概率：

$$\pi_\theta(a_i\mid s)= \frac{ \exp(z_i)}{ \sum_{j=1}^{m}\exp(z_j)}$$

其中：

例如：

$$z_\theta(s)=[1,2]$$

则：

$$\pi_\theta(a_1\mid s) = \frac{e^1}{e1+e^2} \approx 0.269$$

$$\pi_\theta(a_2\mid s) = \frac{e^2}{e1+e^2} \approx 0.731$$

策略网络不是直接宣布“动作二价值更高”，而是给出“动作二更可能被选择”。

三、我们究竟要优化什么

一条轨迹记为：

$$\tau = (S_0,A_0,R_1,S_1,A_1,R_2,\ldots)$$

轨迹回报可以写成：

$$R(\tau) = \sum_{t=0}^{T-1} \gamma^t R_{t+1}$$

策略优化目标为：

$$J(\theta) = E_{\tau \sim \pi_\theta} [ R(\tau) ]$$

这句话的含义很直接：

调整策略参数，使它产生的轨迹拥有更高的期望长期回报。

展开期望：

$$J(\theta)= \sum_\tau p_\theta(\tau)R(\tau)$$

其中，$p_\theta(\tau)$ 是策略 $\pi_\theta$ 产生轨迹 $\tau$ 的概率。

对参数求梯度：

$$\nabla_\theta J(\theta)= \sum_\tau \nabla_\theta p_\theta(\tau)R(\tau)$$

真正的难点出现了：环境可能不可微，轨迹又是随机采样出来的。如何得到可用梯度？

四、Log-Derivative Trick：把概率梯度写成对数概率梯度

利用恒等式：

$$\nabla_\theta p_\theta(\tau)= p_\theta(\tau)\nabla_\theta \log p_\theta(\tau)$$

可以改写目标梯度：

$$\nabla_\theta J(\theta)= \sum_\tau p_\theta(\tau)\nabla_\theta \log p_\theta(\tau)R(\tau)$$

也就是：

$$\nabla_\theta J(\theta)=E_{\tau \sim \pi_\theta}\big[\nabla_\theta \log p_\theta(\tau) R(\tau)\big]$$

轨迹概率可以拆成：

$$p_\theta(\tau)= \rho_0(S_0)\prod_{t=0}^{T-1} \pi_\theta(A_t\mid S_t)p(S_{t+1}\mid S_t,A_t)$$

其中：

取对数后，乘法变成加法：

$$\log p_\theta(\tau)= \log\rho_0(S_0)+ \sum_{t=0}^{T-1} \log \pi_\theta(A_t\mid S_t)+ \sum_{t=0}^{T-1} \log p(S_{t+1}\mid S_t,A_t)$$

对 $\theta$ 求梯度时，初始状态分布与环境转移概率都不依赖策略参数，因此消失：

$$\nabla_\theta \log p_\theta(\tau)= \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

代回原式：

$$\nabla_\theta J(\theta) = E_{\tau \sim \pi_\theta} [ \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(A_t | S_t) R(\tau) ]$$

这是一个关键结果：

即使不知道环境如何求导，也可以通过“动作的对数概率”与“轨迹回报”的乘积，估计策略更新方向。

五、REINFORCE：奖励好的动作，提高其出现概率

REINFORCE 使用从当前时刻开始的回报：

$$G_t = \sum_{k=t}^{T-1} \gamma^{k-t}R_{k+1}$$

梯度估计写成：

$$\widehat{\nabla_\theta J(\theta)} = \sum_{t=0}^{T-1} \gamma^t G_t \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

参数沿梯度上升方向更新：

$$\theta \leftarrow \theta + \alpha \sum_{t=0}^{T-1} \gamma^t G_t \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

其中：

这里显式保留了 $\gamma^t$，因为本章从起点时刻的折扣目标 $R(\tau)$ 出发。在另一种常见写法中，时间权重会被状态采样分布吸收，因此也经常看到省略 $\gamma^t$ 的形式。

如果 $G_t$ 较大，就增强该动作在相似状态下出现的概率。

如果 $G_t$ 较小甚至为负，就削弱该动作的概率。

在代码中，常常把梯度上升改写成最小化负号形式的代理损失：

$$L_{REIN}(\theta)=-E[\gamma^t G_t \log \pi_\theta(A_t|S_t)]$$

这又一次说明：强化学习中的“损失函数”往往是更新装置，不是最终目标本身。

六、为什么直接使用回报会有高方差

考虑两条几乎相同的轨迹。它们在早期都执行了动作 $a$，但因为后续环境随机性不同，最终回报分别为：

$$G_t^{(1)}=10, \qquad G_t^{(2)}=-2$$

同一个早期动作，第一次被大力鼓励，第二次又被明显抑制。

问题在于：

完整回报不仅包含当前动作的贡献，也混合了之后所有动作和环境随机性的影响。

REINFORCE 不使用自举，减少了一类估计偏差，却承受了较高方差。

这与 Monte Carlo 价值估计面临的是同一种代价。

七、Baseline：只奖励“比预期更好”的动作

可以从回报中减去一个只依赖状态的基线 $b(S_t)$：

$$\widehat{\nabla_\theta J(\theta)} = \sum_t \gamma^t [ G_t-b(S_t)] \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

最常见选择是状态价值函数：

$$b(S_t)=V^\pi(S_t)$$

于是：

$$G_t-V^\pi(S_t)$$

表示这次行动结果比通常预期好多少。

Baseline 为什么不会改变期望梯度

关键是 $b(s)$ 不依赖当前动作。对固定状态 $s$：

$$\mathbf{E}{A \sim \pi\theta} [ b(s)\nabla_\theta \log \pi_\theta(A\mid s) ]$$

$$= b(s)\sum_a \pi_\theta(a\mid s)\nabla_\theta \log \pi_\theta(a\mid s)$$

由于：

$$\pi_\theta(a\mid s)\nabla_\theta \log \pi_\theta(a\mid s)= \nabla_\theta \pi_\theta(a\mid s)$$

所以：

$$b(s)\sum_a \nabla_\theta \pi_\theta(a\mid s)= b(s)\nabla_\theta \sum_a \pi_\theta(a\mid s)$$

而动作概率之和恒为 $1$：

$$\sum_a\pi_\theta(a\mid s)=1$$

因此：

$$b(s)\nabla_\theta 1=0$$

baseline 不会改变期望梯度，只会降低梯度估计的方差。

这是一种很漂亮的工程思想：

不改变长期目标，只减少更新中的无谓摇摆。

八、Advantage Function：相对好坏比绝对分数更重要

优势函数定义为：

$$A^\pi(s,a)= Q^\pi(s,a)-V\pi(s)$$

其中：

假设某个状态中：

$$V^\pi(s)=8$$

两个动作价值为：

$$Q^\pi(s,a_1)=10, \qquad Q^\pi(s,a_2)=7$$

则：

$$A^\pi(s,a_1)=2$$

$$A^\pi(s,a_2)=-1$$

动作 $a_1$ 应该被鼓励，动作 $a_2$ 应该被抑制。

策略梯度定理常写为：

$$\nabla_\theta J(\theta)\propto \mathbf{E}{S\sim d^\pi,\ A \sim \pi\theta} [ Q^\pi(S,A)\nabla_\theta \log \pi_\theta(A\mid S) ]$$

减去 baseline 后，也可以写成：

$$\nabla_\theta J(\theta)\propto \mathbf{E} [ A^\pi(S,A)\nabla_\theta \log \pi_\theta(A\mid S) ]$$

其中 $d^\pi$ 表示当前策略诱导出的状态访问分布。

这条公式揭示了策略梯度的核心：

提高优势为正的动作概率，降低优势为负的动作概率。

九、连续动作空间：策略可以直接输出分布

对连续动作，可以令策略输出高斯分布参数：

$$\pi_\theta(a\mid s)= \mathcal{N} ( a; \mu_\theta(s), \sigma_\theta^2(s))$$

其中：

例如，机械臂在当前状态下输出：

$$\mu_\theta(s)=0.4, \qquad \sigma_\theta(s)=0.1$$

策略会在 $0.4$ 附近采样动作，而不是从无限多动作中重新求解一次 $\arg\max$。

标准差还天然表达探索强度：

$$\sigma_\theta(s)\ \mathrm{较大} \quad\Rightarrow\quad \mathrm{尝试范围更广}$$

$$\sigma_\theta(s)\ \mathrm{较小} \quad\Rightarrow\quad \mathrm{行动更集中}$$

探索不再只是外挂的随机按钮，而可以成为策略表示的一部分。

十、策略梯度解决了什么，又牺牲了什么

尤其需要注意最后一点。

策略决定数据分布。当参数变化后：

$$\theta \longrightarrow \pi_\theta \longrightarrow d^{\pi_\theta}$$

新的策略会访问新的状态，采集新的数据。如果一次更新太激进，策略可能离开熟悉区域，进入估计器并不了解的状态空间。

因此，后续方法会反复讨论一个主题：

如何让策略改进足够明显，但又不要一步走得太远？

十一、边界：策略梯度不是“对真实回报直接反向传播”

策略梯度容易引发一种误解：既然最终目标是长期回报，那么是不是可以像监督学习一样，从最终奖励一路反向传播到每个动作？

通常不能。

环境转移未必可微，动作采样也可能是离散的。策略梯度使用的是概率技巧：

$$\nabla_\theta\log \pi_\theta(A_t\mid S_t)$$

它并没有要求对环境本身求导。

另一种误解是：策略梯度绕过了价值估计。

最基础的 REINFORCE 确实可以只使用实际回报。但为了降低方差，实际系统通常会引入 baseline、优势函数或 Critic。于是价值估计会重新回到系统中。

它没有消失，而是换了位置。

回归全景图（Callback）

把策略梯度放回六个坐标轴：

再看三条反馈循环：

策略梯度把策略放到了舞台中央，却没有摆脱估计问题。恰恰相反，它很快提出一个新需求：

能否专门训练一个评价者，帮助行动者更稳定地判断哪些动作值得加强？

本章小结

直接学习策略的逻辑可以浓缩为四步：

1. 用 $\pi_\theta(a\mid s)$ 描述行动概率；
2. 用长期回报 $J(\theta)$ 定义最终目标；
3. 用 Log-Derivative Trick 把不可微环境中的轨迹采样变成可估计的策略梯度；
4. 用 baseline 或 advantage 降低更新方差。

它解决了连续动作和随机策略的表达问题，也让策略本身可以被直接优化。

但 REINFORCE 的梯度仍然摇摆很大，数据利用率也不高。

下一章，Actor-Critic 会把两条路线重新合并：Actor 负责行动，Critic 负责判断行动相对预期究竟好不好。

第 18 章 综合案例三：Actor-Critic 如何让行动者与评价者合作

策略梯度提供了一种直接而优雅的想法。忽略可由采样约定吸收的时间权重，单步更新可以简写为：

$$\theta \leftarrow \theta + \alpha G_t \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

如果一次行动之后的回报较高，就增加这类行动再次发生的概率。

但完整回报 $G_t$ 混合了太多因素：后续动作、环境随机性、轨迹长度和奖励噪声都会让更新剧烈摇摆。

于是，一个自然问题出现了：

能否安排一个评价者，专门判断当前动作比通常水平好多少，再由行动者根据这个判断调整策略？

这就是 Actor-Critic。

• Actor 是行动者：负责输出策略；
• Critic 是评价者：负责估计价值或优势；
• Actor 根据 Critic 的反馈更新；
• Critic 又根据 Actor 采集的新数据更新。

这不是单向流水线，而是一个相互依赖的反馈系统。

图 18-1：Actor-Critic 双循环

一、为什么 Actor 需要 Critic

在 REINFORCE 中，动作的权重可以使用完整回报：

$$G_t = R_{t+1} + \gamma R_{t+2} + \cdots + \gamma^{T-t-1}R_T$$

如果 episode 很长，学习者必须等待很久，才能知道早期动作是否值得鼓励。

Critic 尝试提前回答这个问题。

它可以估计状态价值：

$$V_w(s)\approx V^\pi(s)$$

其中 $w$ 是 Critic 的参数。

也可以估计动作价值：

$$Q_w(s,a)\approx Q^\pi(s,a)$$

或直接估计优势：

$$A_w(s,a)\approx A^\pi(s,a)$$

Critic 的作用不是替代奖励，而是把延迟奖励翻译成更及时的学习信号。

二、一步 TD 误差：把 Critic 的判断压缩成一个数

如果 Critic 估计状态价值，可以构造一步 TD 目标：

$$Y_t = R_{t+1} + \gamma V_w(S_{t+1})$$

TD 误差为：

$$\delta_t = R_{t+1} + \gamma V_w(S_{t+1})- V_w(S_t)$$

其中：

如果：

$$\delta_t>0$$

说明结果比预期好，当前动作应被鼓励。

如果：

$$\delta_t<0$$

说明结果比预期差，当前动作应被抑制。

在适当条件下，一步 TD 误差可以看作优势函数的带噪估计：

$$\delta_t \approx A^\pi(S_t,A_t)$$

于是 Actor 可以更新：

$$\theta \leftarrow \theta + \alpha_\theta \delta_t \nabla_\theta \log \pi_\theta(A_t\mid S_t)$$

Critic 则最小化价值误差：

$$\mathcal{L}{\mathrm{critic}}(w)= \frac{1}{2} [ R{t+1} + \gamma V_w(S_{t+1})- V_w(S_t) ]^2$$

更新：