课程大纲
线性模型（第 1–4 步）
从回归到分类：一条直线（或一个平面）加梯度下降，解决数值预测、二分类与多分类。
01
线性回归 + 梯度下降
机器学习的"Hello World" — 一条直线、一堆点，梯度下降让直线自己找到最佳位置。
02
多项式回归 · 特征工程
同样的梯度下降，给模型更多"原材料"就能拟合曲线。算法不变，输入升级。
03
逻辑回归 · 二分类
从"预测数值"到"判断类别" — Sigmoid 输出概率，交叉熵衡量好坏，决策边界可视化。
04
多分类 + Softmax
不止两类怎么办？螺旋三分类 + Softmax + 混淆矩阵，多类问题的完整可视化管线。
泛化与评估（第 5–6 步）
模型在没见过的数据上表现如何？过拟合、正则化与科学的评估方法。
05
过拟合与正则化
模型越复杂越好吗？欠拟合 → 刚好 → 过拟合三栏对比，L2 正则化让模型学会"克制"。
06
模型评估与验证
训练/验证/测试划分、ROC 曲线、AUC、PR 曲线、学习曲线 — 系统性地回答"模型到底好不好"。
神经网络入门（第 7–8 步）
用激活函数引入非线性，再把神经元叠成多层，用反向传播训练。
07
激活函数 · 万能逼近
ReLU、Sigmoid、Tanh — 认识这些把直线"掰弯"的基本单元。用 ReLU 拼出任意曲线。
08
多层感知机 + 反向传播
XOR 问题 — 单层无解，两层就行了。亲眼看到隐藏层的"空间变换"和反向传播的链式法则。
非线性模型（第 9–11 步）
另一类经典思路：用「问问题」切分空间的决策树与随机森林，以及寻找最大间隔的支持向量机。
09
决策树
告别梯度下降。信息增益、递归划分、树结构可视化 — 完全不同的 ML 范式。
10
随机森林
多棵树投票更准：Bootstrap + 随机特征 + OOB 误差，集成学习直观演示。
11
SVM 支持向量机
找最大间隔分类线 — 硬间隔→软间隔→RBF核，支持向量决定了模型。
无监督学习（第 12–13 步）
没有标签也能学：K-Means 给数据分组，PCA 把高维数据压到低维。
12
K-Means 聚类
没有标签也能学习？质心迭代、Voronoi 划分、肘部法则 — 首个无监督学习算法。
13
PCA 降维
高维数据如何可视化？主成分分析、方差解释、投影重建 — 数据压缩的几何直觉。