V8 · 1.4 / SENTENCEPIECE
Unigram 分词全流程
从语料学习概率,再为一段文字找到得分最高的切分。
训练 → 编码 → 解码
逐步播放 · 可随时回看
学习章节
每章包含多个讲解步骤,可点击切换
01
训练词表
从语料到固定模型
02
编码
匹配 · 评分 · 回溯
03
解码
查 ID · 拼接文字
04
字节回退
四个 Token → 😊
开始时
完成后
示例
当前这一步:数据怎样变化
随步骤和词表同步 · 小数仅在显示时舍入
输入
输出
接下来
← 上一步
▶
播放
下一步 →
播放速度
慢速
标准
快速
← → 切换步骤 · 空格 播放 / 暂停
请启用 JavaScript,以播放算法步骤和查看计算结果。