GPT-2 TOKENIZER
BPE 合并过程
在同一个块内，按固定的规则顺序合并相邻符号。
输入字节别名
aaababcabxyz教学例子- 1选最早的规则
- 2扫描并合并
- 3更新后再重复
本轮相邻对rank 越小，越先合并
当前操作本轮写入的结果i：扫描起点 · j：找到的位置
每一步均来自本地 encoder.py 的实际运行。教学例子使用人工规则；官方例子使用下载到本地的 GPT-2 合并表。