第3步：激活函数

把直线"掰弯"的最小单元 — ReLU、Sigmoid、Tanh
认识激活函数
用 ReLU 拼曲线
选中函数
公式: ReLU(x) = max(0, x)
ReLU — 最简单、最常用的激活函数
x < 0 时输出 0，x > 0 时原样输出。
像一道"折痕"——神经网络用许多道折痕拼出任意曲线。