Andrej Karpathy

更新极少，但每条都值得逐帧看

本站已深读3 / 4 集

更新节奏约 64.2 天一集

最新一集2026-09-18

分类AI / 技术

优先级T1

AI 解不出的最后一道 IMO 题，价值不在答案

2025 年 IMO 第六题只有不到 1% 的选手拿满分，所有 AI 都卡在这题上。它难的不是计算，是必须先理解、先有审美，再动笔——而这恰恰是强化学习最难训练的东西。

交叉熵损失之所以被选中，是因为数学上可以证明它是唯一能保证「模型输出等于数据真实分布时损失最小」的函数形式，而这恰好等价于把模型训练成逼近香农极限的文本压缩器。

信息论说预测和压缩在数学上等价，所以语言模型的预训练目标可以重新理解为造一台最高效的文本压缩器，而不只是预测下一个 token。