词表不只决定切几刀：模型成本、多模态与分词边界
词表翻倍、序列缩短，为什么输出计算反而可能增加？从参数账与 ID 对应关系出发，区分连续视觉向量和离散视觉码，走完 Token Healing 的八个步骤，再用中文、数字、空白和 JSON / YAML 的切分例子说明表示差异。附双语图解与交互动画。
标签09
#分词器
算法补课 · 下标是金额，值是枚数：动态规划的状态、递推与回溯
用 1、3、4 元硬币恰好凑出 6 元，从 dp[x] 的含义推到递推式：为什么只查 x−c，为什么能丢掉更差的凑法，为什么填完六轮却只沿 6→3→0 回溯。最后把同一套推理接回 Unigram 的 Viterbi 编码。
同一个 abc，为什么换了切法：Unigram 的训练与编码
Unigram 从候选词表出发，用所有合法切分的期望次数更新概率，再按删除代价缩小词表。沿着同一份 abc 语料推导 p、w、Z、q、C，接着用训练结果手算 abcabc 最后一个 c 的动态规划，最后核对 SentencePiece 的字节回退。
编号已经有了：minbpe 怎么恢复规则，又怎么处理特殊 Token
cl100k_base 给的是字节串到 rank / ID 的表，minbpe 要从中恢复左右两个组成部分。用 hello 追到 max_rank 为什么必须严格小于目标编号，再区分 merges 与完整 vocab、byte_shuffle 与原始字节。特殊标记则先由调用方策略决定走专用 ID 还是普通 BPE；最后核对完整编解码与测试范围。
词表里的 Ġ 是什么：沿着 GPT-2 源码走完一次编解码
GPT-2 的 encoder.py 不直接合并字节编号，而是先把 256 种字节映射成可逆字符别名。沿着 Hi 你! 看清两张资源表、rank 与 ID、BPE 的两层循环、缓存和结束条件，最后把跨 token 的 UTF-8 字节拼齐再解码。附官方十四轮合并与七轮教学例子的交互动画。
先划边界，再学合并：BPE 前面的那条正则
BPE 会把常挨在一起的字节合并，但不切块就会学出 e 加空格、逗号加空格这样的跨类别 token。GPT-2 用一条正则先划边界：每块独立统计和合并，全语料共用一张规则表。看懂四个缩进空格怎样被分成三加一，就能分清哪些差别来自正则，哪些来自训练。
一张合并表就是分词器：为什么要分词，以及从零写 BPE
模型只看编号，分词器负责在文字和编号之间翻译。码点当 token 词表太大、字节当 token 序列太长，BPE 从 256 个字节出发，反复把最常挨在一起的一对合并成新 token —— 训练完手里只剩一张按顺序排好的合并表。编码时每一步挑表里最早学到的那一对，所以表里明明有 ' th'，切 'the thin' 时却用不上：顺序决定结果。
基础补课 · 一个「你」，五串字节：字符集管编号，编码管存储
第 23 篇说 tokenizer 把文本变成整数，但没说第一步是把文本变成字节。字符集只管「这是第几号字」，编码只管「这个号码写成哪几个字节」—— 分开之后，UTF-8 的四种模板能手算，半个汉字为什么显示成 � 有了确定的答案，而分词器词表最底下那 256 个条目也不再是约定，是机械事实。
初始 loss 比瞎猜还差一半：从莎士比亚到 2.49 这条基线
换数据集重开：莎士比亚、65 个字符的词表、一条 val 2.49 的 bigram 基线 —— 后面每加一个模块都跟它比。这三段没有新数学，但引入了两样贯穿整集的东西：token 是你自己定义的（顺带解释了阶段四为什么选 Qwen），以及 (B, T, C) 这三个形状。还有一个能一眼看穿的等价：查表就是一层没有偏置的全连接。