TOKEN HEALING / 分词边界
Token Healing · 从尾部边界重新生成
沿着同一个例子,查看每一步的目的、输入、规则与输出。
输入 → 输出
判断规则
原理示意:采用 cl100k_base 的 ID 与 24 个前缀候选;logits 是用于说明选择规则的假设分数。这里使用严格前缀约束,具体库的实现可能不同。空格用 ␠ 显示。支持键盘 ← →、Home / End,自动保存步骤。
沿着同一个例子,查看每一步的目的、输入、规则与输出。
原理示意:采用 cl100k_base 的 ID 与 24 个前缀候选;logits 是用于说明选择规则的假设分数。这里使用严格前缀约束,具体库的实现可能不同。空格用 ␠ 显示。支持键盘 ← →、Home / End,自动保存步骤。