Karpathy V1 · 节点粒度

把 tanh 拆开，梯度一模一样

同一个 tanh，这次用 *、exp、+、**-1 六个基础算子拼出来。一行导数都不用推 —— 看引擎自己链下去。

前向

—

CODE

e 的梯度 = 两条路径累加

经 den 路径—

经 num 路径—

e.grad 合计—

这就是 += 的作用。e 被分子和分母同时使用，两个 _backward 先后往 e.grad 写一次，靠 += 自动累加。用 = 会丢掉一份。

与打包版对照

拆开版 n.grad—

打包版 n.grad+0.5000

← → 方向键翻步。绿=前向，橙=反向，红=e 的两条路径与累加时刻。