thou 后面那个 r 是怎么消失的：一个注意力头长成 GPT
把第二十四篇的注意力头装进模型，再堆深、放大，val 从 2.49 一路降到 1.48。多头的参数一个没多，提升来自分工；FFN 补上唯一的非线性；残差让深网络在初始化时约等于浅网络，LayerNorm 换个方向归一化，Dropout 只扔分支、不碰主干。同一个问题问了四次 —— thou 后面接什么：原文里一次都没出现过的 r，从第一名一路跌到 0.001。
标签02
#过拟合
2.1752：先有尺子，再谈调参
模型的参数从 train 学，你的超参数从 val 学 —— 所以 test 得再留一份。切分要按名字不按样本，否则验证集当场被污染。调完参 val 2.1752，而那 27 个字符的嵌入图上，元音自己聚成了一团。