课程大纲
新基础短章 · 第一阶段
沿二十个短章学习基础表示、微积分、概率与统计。原有深入课程与学习记录保留在下方。
函数、坐标与参数
拖动直线参数,比较图像与数值表。
指数与对数:增长和尺度
切换坐标尺度,观察成倍增长。
向量、坐标与距离
拖动点,观察位移和距离。
点积、夹角与投影
比较向量方向、点积和投影。
矩阵与批量计算
选中输出格,追踪数据行与权重列。
线性变换与变换复合
逐步比较旋转与缩放的不同顺序。
微积分与训练
从变化率到梯度下降与反向传播。
从平均变化率到导数
缩短割线间隔,观察导数的局部意义。
一元链式法则
沿两道处理步骤传递局部变化率。
偏导数与梯度
对照切片斜率、等高线与梯度。
损失函数与梯度下降
单步拟合数据,比较不同学习率。
多路径链式法则与反向传播
沿计算图反向传播并累加两条路径。
概率与统计
从事件到分布与样本统计。
随机事件、概率与独立性
重复抽球,比较概率、频率和独立性。
条件概率
筛选条件范围,比较两个方向的条件概率。
贝叶斯更新
用证据更新两种盒子假设的权重。
随机变量与离散分布
将三次硬币结果归入离散分布。
期望、方差与样本统计
比较分布的中心、方差和样本统计。
积分直觉与连续分布
用矩形面积理解积分与连续概率。
从似然到损失函数
比较固定数据的似然与负对数损失。
信息熵与交叉熵
比较真实分布、预测分布与信息代价。
抽样误差与蒙特卡洛估计
重复随机投点,观察估计波动。
按需进阶 · 线性代数
按各章前置选择适合的专题。
基、线性方程与秩
比较独立方向、矩阵秩与方程解。
协方差与相关性
观察点云协方差与相关系数。
特征值与谱分解
寻找特征方向并识别适用条件。
SVD 与低秩近似
保留奇异方向,比较低秩重建。
按需进阶 · 优化
按各章前置进入曲率与约束专题。
二阶导数与泰勒近似
观察二阶导数与局部泰勒近似。
Hessian 与牛顿法
比较曲率、牛顿步和失败情形。
凸性与约束
用弦线与可行域理解凸性。
拉格朗日乘子与对偶直觉
用乘子构造可验证的对偶下界。
KKT 与 SVM
检查 KKT 条件并连接 SVM。
按需进阶 · 概率与信息
KL 散度与分布比较
比较 KL、熵与交叉熵。
重要性采样与方差控制
比较重要性权重、覆盖与方差。
按需进阶 · 序列决策
马尔可夫链与平稳分布
比较平稳分布、周期与收敛。
折扣回报与贝尔曼递推
从折扣回报推到贝尔曼备份。
不动点、收缩与收敛证明
计算真实备份并检查最大误差上界。
按需进阶 · 场与图
标量场、向量场与散度
比较源、汇与旋转场的散度。
拉普拉斯、图与扩散
在网格与图上观察扩散和守恒。
原有深入课程
旧课程的地址和进度保持可用,内容可能需要更多前置知识。
线性代数(第 1–4 步)
向量、矩阵、特征值与 SVD —— 机器学习里所有数据与参数的「容器」和「变换」。
向量、范数与正交投影
点积为什么能当相似度?L1 的菱形尖角为什么让权重归零?拖动两根向量、变形范数等值线,把正则化与超平面讲成看得见的几何。
矩阵、线性变换与行列式
矩阵不是一堆数字,而是把整个空间揉搓变形的动作。拖动基向量看网格形变,亲手验证 AB ≠ BA,并用有向面积理解行列式。
特征值、特征向量与谱分解
特征值是矩阵无法扭转的那几根轴。拖动探针找出「不转向」的方向,看单位圆如何被拉成椭圆,再在点云上实时跑一遍 PCA —— 主成分、方差与正定性一次讲通。
SVD 奇异值分解与低秩近似
特征分解只对方阵有效,SVD 却对任何长方矩阵成立。看单位圆被「旋转 → 缩放 → 再旋转」三步拉成椭圆,再用滑块把一张 64×48 的图压到秩 k,最后算一笔 LoRA 的参数量账。
微积分(第 5–9 步)
导数、链式法则与梯度讲清模型怎么学;散度与拉普拉斯补上读懂向量场的工具。
导数、偏导与局部线性化
导数是局部放大倍数。从放大镜下的切线,到数值微分的浴盆曲线,再到偏导数与切平面 —— 这一章只讲「导数本身」。
链式法则与计算图反向传播
复合是齿轮连乘,汇聚是分支相加。看伴随量逆向点亮神经元计算图,对比前向与反向 AD 复杂度,理解 ResNet 为什么能训练上千层。
梯度 · 最陡上升方向
把「沿梯度下降」这句你已用了 14 章的话补上几何含义:∇f 指哪、多长,为什么它垂直等高线。
散度 · 源与汇
向量场在某点是「冒出来」还是「吸进去」?小方盒四边通量亲手验证 ∇·F,并拆掉「散度 vs KL 散度」的同名陷阱。
拉普拉斯算子 · 平均与曲率
拉普拉斯 = 散度(梯度)。从二阶差分到图拉普拉斯 L = D − A,一路接到谱聚类、GCN 与热扩散。
概率与序列决策(第 10–12 步)
贝叶斯与最大似然把概率接上损失函数;马尔可夫链与贝尔曼收缩为强化学习打好地基。
条件概率、贝叶斯与最大似然
贝叶斯法则教你用新证据更新世界观;最大似然估计(MLE)则是把「概率建模」与「损失函数最小化」贯通的宏伟桥梁。
马尔可夫链与平稳分布
比较平稳分布、周期性以及满足条件时的收敛。
压缩映射与贝尔曼收缩定理
从一维蛛网图的向心吸入到值函数空间收缩漏斗:Banach 不动点定理如何保证强化学习值迭代必然收敛。