bobofamilyNIU CHUN
标签02

#采样

2026-10-12·—阅读·—点赞·跟着 AI 学 AI

输入查几行,输出算整表:从 Token ID 到下一 Token

Tokenizer 交出一串 ID 之后,模型怎样继续?用同一个五 Token 小模型,查两张向量表、走完一个 Transformer Block、展开 lm_head 的每个候选分数,再手算训练损失、概率抽取、温度、top-k 与 top-p。附三张双语图解、两个交互演示和可复算的完整代码。