bobofamilyNIU CHUN
标签02

#表示学习

2026-09-06·—阅读·—点赞·跟着 AI 学 AI

2.1752:先有尺子,再谈调参

模型的参数从 train 学,你的超参数从 val 学 —— 所以 test 得再留一份。切分要按名字不按样本,否则验证集当场被污染。调完参 val 2.1752,而那 27 个字符的嵌入图上,元音自己聚成了一团。

2026-09-05·—阅读·—点赞·跟着 AI 学 AI

27 维压成 2 维:结构是压缩逼出来的

one-hot 让 a 和 e 的关系与 a 和 q 完全相同,只有把 27 维压进 2 维才逼得出结构。上下文从 1 扩到 3,统计表 729 → 531441,第一层参数 8100 → 600;以及索引的形状规律和点积为什么不是余弦。