数学补课 · 方差可加，标准差不可加：√n 是从哪来的
上一篇用 σ_z = √n · σ_W · σ_x 就往下走了。这一篇从期望的定义把它推出来：三条运算规则、交叉项为什么会消失、为什么可加的是方差而不是标准差，以及为什么诊断神经网络盯的是方差，不是均值也不是最大值。
标签05
#神经网络基础
27 维压成 2 维：结构是压缩逼出来的
one-hot 让 a 和 e 的关系与 a 和 q 完全相同，只有把 27 维压进 2 维才逼得出结构。上下文从 1 扩到 3，统计表 729 → 531441，第一层参数 8100 → 600；以及索引的形状规律和点积为什么不是余弦。
从 2 类到 27 类：只需要补三个零件
猫狗二分类和「预测下一个字符」是同一件事，只是类别数从 2 变成 27。为此要补的三个零件：one-hot、softmax、交叉熵 —— 以及交叉熵为什么不是「更高级的平方误差」。
从引擎到网络：三个类，41 个参数
把 Value 包成 Neuron / Layer / MLP。参数个数怎么来的、sz 的滑动窗口如何对齐维度、为什么三行循环就是整个前向传播。
神经网络到底是什么：一个 13,002 参数的函数
从手写数字识别出发，讲清神经元、层、权重、偏置、激活函数分别是什么，以及为什么说整个网络只是一个函数。