Andrej Karpathy

更新極少，但每條都值得逐幀看

本站已深讀4 / 4 集

更新節奏約 39.0 天一集

最新一集2026-10-16

分類AI / 技術

優先級T1

即使AI證明定理完全超過人類，數學的價值幾乎不會改變

數學的錢主要來自教學，而非證明本身；AI把定理證明變成原始數據後，稀缺的是搭建理論、練口頭表達，以及誰該獲得學術功勞。

2025 年 IMO 第六題只有不到 1% 的選手拿滿分，所有 AI 都卡在這題上。它難的不是計算，是必須先理解、先有審美，再動筆——而這恰恰是強化學習最難訓練的東西。

交叉熵損失之所以被選中，是因為數學上可以證明它是唯一能保證「模型輸出等於數據真實分布時損失最小」的函數形式，而這恰好等價於把模型訓練成逼近香農極限的文本壓縮器。

信息論說預測和壓縮在數學上等價，所以語言模型的預訓練目標可以重新理解為造一臺最高效的文本壓縮器，而不只是預測下一個 token。