开始学习
13 章系统课程 · 从零开始

强化学习

从训练一只小狗到 RLHF，13 章由直觉递进到策略优化。

13 章节
30 预计学时
入门 → 高级 难度
开始学习
强化学习课程插画：智能体与环境交互示意

课程大纲

共 13 章 · 循序渐进

阶段 0 · 入门

不知道 RL 是什么？从这里开始 —— 一只小狗、一个机器人、五个关键词，零公式起步。

入门
00

什么是强化学习？

从训练小狗说起：没有标准答案、只有奖励和惩罚。亲手训练一台扫地机器人，零基础建立 RL 直觉。

  1. 0.1 欢迎：这门课讲什么、适合谁
  2. 0.2 什么是强化学习：从训练小狗说起
  3. 0.3 强化学习和监督学习有什么不同
  4. 0.4 五个关键词：智能体、环境、状态、动作、奖励
  5. 0.5 强化学习在今天：从游戏 AI 到 ChatGPT
  6. 0.6 课程地图：13 步学习路径

阶段 1 · 表格型方法

状态少到能写进表格：老虎机、网格世界、MDP、动态规划、蒙特卡洛、时序差分 —— 一切的根基。

入门
01

多臂老虎机

探索 vs 利用的核心困境。ε-greedy、UCB、梯度老虎机，实时调参看学习曲线。

  1. 1.1 为什么从老虎机学起：探索 vs 利用
  2. 1.2 ε-greedy：用增量均值估价值
  3. 1.3 UCB：给不确定的臂一个机会
  4. 1.4 梯度老虎机：学偏好而不是估值
  5. 1.5 探索率 ε 怎么选：天平上的砝码
  6. 1.6 ε-greedy 核心代码走读
进阶
02

从老虎机到 GridWorld

从单状态到多状态的第一步：3×3 迷你网格，理解 V(s)、Q(s,a) 和策略箭头。

  1. 2.1 从一个决定到一连串决定
  2. 2.2 MDP 五元组：给决策建模
  3. 2.3 状态转移：从这格到那格
  4. 2.4 回报与折扣 γ：未来值多少钱
  5. 2.5 折扣因子 γ 对比实验
  6. 2.6 GridWorld step 函数走读
进阶
03

有限 MDP + 动态规划

从单状态到多状态：GridWorld 上的策略评估、策略迭代、价值迭代 — 值函数热力图直观可见。

  1. 3.1 序列决策的形式化：为什么需要 MDP
  2. 3.2 贝尔曼期望方程：给策略打分
  3. 3.3 贝尔曼最优方程：直接求最好
  4. 3.4 从 V 到 Q：动作价值与最优策略
  5. 3.5 策略迭代 vs 值迭代：怎么选
  6. 3.6 值迭代核心代码走读
进阶
04

蒙特卡洛方法

不知道环境模型也能学习？从完整 episode 的经验中估计值函数，首次访问 vs 每次访问 MC。

  1. 4.1 没有地图怎么办：从经验中学习
  2. 4.2 蒙特卡洛估值：回报的样本均值
  3. 4.3 增量更新：来一个新回报修一点
  4. 4.4 回报的边界：必须等 episode 结束
  5. 4.5 首次访问 vs 每次访问对比
  6. 4.6 MC 预测核心代码走读
进阶
05

时序差分学习

RL 最著名的算法：Cliff Walking 上 SARSA vs Q-Learning 的经典对比，在策略与离策略的直观差异。

  1. 5.1 边走边学：TD 的核心思想
  2. 5.2 TD(0)：用猜测更新猜测
  3. 5.3 Q-Learning：假设下一步选最优
  4. 5.4 SARSA：按实际动作更新
  5. 5.5 学习率 α 与 TD/MC 对比
  6. 5.6 Q-Learning 核心代码走读

阶段 2 · 深度价值型

表格装不下了，请神经网络出场：用网络逼近 Q 函数，稳住训练的两件套。

进阶
06

深度 Q 网络入门

当状态空间太大装不进表格：神经网络近似 Q 函数，经验回放 + 目标网络，RL 与 ML 的交汇点。

  1. 6.1 状态太多，表格装不下
  2. 6.2 目标值 y：用目标网络算
  3. 6.3 损失函数：让预测逼近目标
  4. 6.4 稳定训练两件套：回放 + 目标网络
  5. 6.5 防发散配置对比
  6. 6.6 DQN 训练步骤走读
进阶
07

DQN 进阶：Double / Dueling / Prioritized

DQN 三件套：Double 抑过估计、优先回放提效率、Dueling 共享状态价值，CartPole 同场对比各自贡献。

  1. 7.1 DQN 的三大痛点
  2. 7.2 过估计从哪来：max 放大噪声
  3. 7.3 Double DQN：选动作和打分分开
  4. 7.4 Dueling 与 Prioritized：各补一刀
  5. 7.5 三件套超参对比
  6. 7.6 Double DQN 核心代码走读

阶段 3 · 策略优化型

不学 Q 值、直接优化策略：REINFORCE → Actor-Critic → PPO → RLHF → 收官实战。

高级
08

策略梯度

不学 Q 值，直接学策略：REINFORCE → Baseline → Actor-Critic，CartPole 上对比三种方法。

  1. 8.1 换条路：直接学策略
  2. 8.2 目标函数 J(θ)：策略的期望回报
  3. 8.3 策略梯度定理：好动作多做
  4. 8.4 Baseline：减掉底噪降方差
  5. 8.5 Baseline 与方差对比
  6. 8.6 REINFORCE 核心代码走读
高级
09

Actor-Critic 与连续动作

标准 Actor-Critic：单步 TD 优势压方差、高斯策略解锁连续动作——2D 目标追逐让策略梯度第一次"动起来"。

  1. 9.1 演员与评论家：一个行动一个打分
  2. 9.2 为什么 TD 优势方差更小
  3. 9.3 两条更新线：Actor 与 Critic 共享 δ
  4. 9.4 高斯策略：解锁连续动作
  5. 9.5 AC 超参对比
  6. 9.6 A2C 核心代码走读
高级
10

PPO 近端策略优化

裁剪目标把每次更新锁进信任区域——简单、稳定、可大规模并行，是大模型 RLHF 的事实标准底座。

  1. 10.1 别一次改太多：信任区域
  2. 10.2 为什么要钳制目标：r 过大的风险
  3. 10.3 min 的妙处：越界就原地等待
  4. 10.4 GAE：多步 TD 误差的加权插值
  5. 10.5 PPO 超参对比
  6. 10.6 PPO 核心代码走读
高级
11

RLHF：人类反馈对齐

把"哪个回答更好"的偏好对喂给奖励模型，再用 PPO 优化策略去迎合它——ChatGPT 对齐的秘密，以及奖励模型有偏时的 reward hacking。

  1. 11.1 语言模型为什么需要对齐
  2. 11.2 奖励模型：把偏好对变成打分
  3. 11.3 KL 约束：别离参考模型太远
  4. 11.4 逐 token 奖励：PPO 原样登场
  5. 11.5 RLHF 关键超参
  6. 11.6 三阶段核心循环走读
高级
12

迷宫寻宝实战收官

把前 11 章装进一个会寻宝的智能体：PPO vs DQN 同场训练、路径回放、学习曲线与超参数扫掠。

  1. 12.1 把 11 章拼成一个智能体
  2. 12.2 价值型的路：Q 值从宝藏往回点亮
  3. 12.3 策略型的路：提高被奖励动作的概率
  4. 12.4 两条路在这里汇合
  5. 12.5 实战超参对比
  6. 12.6 迷宫寻宝核心代码走读