写后端,也写 iOS、Android 和 Web —— 与其说是全栈,不如说是不甘心只做一半。
索引37
同一套 GPT,两条完整路线:训练更新与逐 Token 生成词表不只决定切几刀:模型成本、多模态与分词边界输入查几行,输出算整表:从 Token ID 到下一 Token算法补课 · 下标是金额,值是枚数:动态规划的状态、递推与回溯同一个 abc,为什么换了切法:Unigram 的训练与编码编号已经有了:minbpe 怎么恢复规则,又怎么处理特殊 Token词表里的 Ġ 是什么:沿着 GPT-2 源码走完一次编解码先划边界,再学合并:BPE 前面的那条正则一张合并表就是分词器:为什么要分词,以及从零写 BPE基础补课 · 一个「你」,五串字节:字符集管编号,编码管存储差别都在工程上:对照原论文和 nanoGPT,再看 GPT 怎么变成 ChatGPTthou 后面那个 r 是怎么消失的:一个注意力头长成 GPT