差 0.0001：二十六步压成六组，手写的梯度训出了同一个模型
前三篇把 loss 到每个参数的二十六步全推了一遍，但那是打开黑盒逐步走。这一篇把黑盒合回去：交叉熵的八步压成一行、BatchNorm 的十步压成一行，用的是同一个方法 —— 数一数变量在前向里出现几次，反向就有几项。压完撤掉 backward() 训 20 万步，val loss 2.1105，而 PyTorch 训的是 2.1106。
标签03
#BatchNorm
同一个偏差，既当分子又去造分母：BatchNorm 反向的十三步
上一篇停在 logits —— 那是网络的边界，八步里一个参数都没碰到。这一篇往里走十三步，参数第一次出现。而 BatchNorm 那九步之所以是全集最绕的一段，原因和 softmax 是同一个：归一化的分子必须先被拿去造分母。顺带遇到第一个「系数不是 1」的求和反向，以及一个只差 3% 的错 —— 它的 maxdiff 小到像浮点误差。
输入差一千倍，输出都是 1.000：BatchNorm 拿什么换的
初始化只管第 0 步，BatchNorm 管每一步 —— σ_W 差一千倍，过完 BN 的输出完全一样。代价是它成了整个网络里唯一让样本互相影响的操作，于是推理要另存一套统计量，于是有了 model.eval()。