数学补课 · 求和是复用的后果:sum(0) 还是 sum(1),比一次下标就知道
第三篇给过多元链式法则那个 Σ,第十三篇用它推过线性层 —— 但那是一个特例。这一篇把它变成通用方法:加法从全微分来,四种形态只是同一张雅可比里非零项的分布不同,而「该 sum 还是该广播、沿哪一维」由两组下标怎么差直接读出来。
第三篇给过多元链式法则那个 Σ,第十三篇用它推过线性层 —— 但那是一个特例。这一篇把它变成通用方法:加法从全微分来,四种形态只是同一张雅可比里非零项的分布不同,而「该 sum 还是该广播、沿哪一维」由两组下标怎么差直接读出来。
梯度的形状永远和被求导的对象一样,两条规则就能推出线性层的反传公式。而 C[X] 的雅可比只含 0 和 1 —— 嵌入表梯度的稀疏与累加,两个性质都写在那一张表里。
输出层从 1 个变成 2 个之后,反向传播多出来一步。这一步不是新规则,是多元链式法则本来就有的。