#字符编码

基础补课 · 一个「你」，五串字节：字符集管编号，编码管存储

第 23 篇说 tokenizer 把文本变成整数，但没说第一步是把文本变成字节。字符集只管「这是第几号字」，编码只管「这个号码写成哪几个字节」—— 分开之后，UTF-8 的四种模板能手算，半个汉字为什么显示成 � 有了确定的答案，而分词器词表最底下那 256 个条目也不再是约定，是机械事实。