状态转移 · 遍历平衡
马尔可夫链与平稳分布 Markov Chains & Stationary Distributions
从天气随机演化到平稳分布：用特征向量解释概率转移动态平衡。
1.5 小时
阅读 + 实操
1 个
交互实验
进阶
难度
11.1 状态转移的无后效性：什么是马尔可夫链？
在第 10 步中，我们学习了贝叶斯公式与静态概率推断。但现实世界中，事件往往是随时间序列连续演化的。如果一个随机过程未来的状态只取决于「当前处于什么状态」，而与「过去通过什么路径到达当前状态」完全无关，这种特性就称为马尔可夫性质（无后效性 / Memorylessness）：
11.2 平稳分布：为什么混乱流动终将归于平衡？
设系统有有限个离散状态，转移概率写为方阵 $P$，其中第 $i$ 行第 $j$ 列的元素 $P_{ij} = P(S_{t+1}=j \mid S_t=i)$ 表示从状态 $i$ 跳转到状态 $j$ 的概率。设某一时刻的概率分布为行向量 $\pi_t$，经过一步转移后，新的概率分布为：
无论初始分布是多么极端（例如全城 100% 暴雨），只要转移矩阵 $P$ 满足遍历性（不可约且非周期），持续迭代后概率向量必然收敛到一个恒定不变的平衡态，称为平稳分布（Stationary Distribution） $\pi^*$：
从线性代数的视角看：移项得 $\pi^{*T} (P - I) = 0$。这说明平稳分布正好是转移矩阵 $P$ 对应特征值 $\lambda = 1$ 的左特征向量！根据佩隆-弗罗贝尼乌斯定理（Perron-Frobenius Theorem），随机转移矩阵的最大特征值必为 1，且对应的非负特征向量经过归一化后即为唯一的平稳概率分布。
🔬 交互实验 1：天气三状态马尔可夫链与平稳分布流动
模拟晴天 (Sunny)、阴天 (Cloudy) 和雨天 (Rainy) 三个状态之间的概率转移。点击单步演化或连续播放，观察极端初始分布如何像水流注平一样，迅速汇聚并锁定到唯一的平稳分布。
P(晴→晴):
0.70
P(雨→雨):
0.50
当前天数: 0
当前概率: [1.00, 0.00, 0.00]
理论平稳分布 π*: --
离平衡态残差: 0.0000
11.3 避坑指南：不可约与周期性陷阱
⚠️ 陷阱 1：任何马尔可夫链都必然收敛到唯一的平稳分布？
错误！平稳分布的唯一性与收敛性要求矩阵具备不可约性（Irreducibility，任意状态可相互到达）与非周期性（Aperiodicity）。如果存在单向吸收态（如掉入悬崖死循环）或纯周期震荡（如状态 A 和 B 每步互相反转），系统可能存在无穷多个平稳分布或永远循环震荡而不收敛。
📚 参考文献与延伸阅读
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.), MIT Press, Ch. 3.5 & Ch. 4
- Brin, S., & Page, L. (1998). The anatomy of a large-scale hypertextual Web search engine, Computer Networks — 利用马尔可夫链平稳分布评估网页重要性的 PageRank 奠基论文。
- 下一章阅读 → 数学基础 第 12 步 · 压缩映射与贝尔曼收缩定理
理解检测 · 双语自测题
检验你对马尔可夫转移及平稳分布的理解深度：