快 820 倍：粗糙的梯度和一条只能排除的曲线
32 个样本算的梯度是错的，却比全量快 820 倍、loss 还更低。学习率靠扫描找：在指数上等长取样就是在学习率上等倍取样 —— 以及这条 U 形曲线为什么只能排除、不能选优。
标签03
#梯度下降
训练循环：loss 把 41 个梯度接通
把前两篇的零件接通：损失函数把输出汇成一个数，三段循环让 loss 真的降下去。以及故意不清零梯度会发生什么 —— 换十个随机种子跑一遍。
梯度与反向传播：跟着一只猫走三个来回
一个 2→2→1 的网络，三轮训练里每一个数字是怎么算出来的。以及两个只有真的跑起来才看得见的现象。