Andrej Karpathy

交叉熵損失為何勝出：它在訓練一個文本壓縮器

交叉熵損失之所以被選中，是因為數學上可以證明它是唯一能保證「模型輸出等於數據真實分布時損失最小」的函數形式，而這恰好等價於把模型訓練成逼近香農極限的文本壓縮器。