Andrej Karpathy

训练语言模型本质上是在训练一个文本压缩器

交叉熵损失之所以被选中，是因为数学上可以证明它是唯一能保证「模型输出等于数据真实分布时损失最小」的函数形式，而这恰好等价于把模型训练成逼近香农极限的文本压缩器。