世界太吵,來原聲聽播客

Andrej Karpathy

把文本壓到每字符不到1比特:算術編碼揭示壓縮即預測

任何文本預測器都能通過算術編碼幾乎無損地變成壓縮器,反過來壓縮器也能還原出預測分布——壓縮率本質上取決於語言模型預測的好壞。

信息論語言模型算術編碼預訓練壓縮
用可視化方式講清算術編碼的數學原理,並延伸到預訓練的本質和「壓縮即智能」的論證,信息密度高但偏理論,適合想理解語言模型訓練原理的人。

核心論點 · 點時間戳可跳到原聲

6:05

每段文本對應數軸上一個實數

算法把任意一段文本編碼成0到1之間一個極其特定的實數。想法是把每個可能的字符串視為佔據數軸上一段區間,區間寬度等於模型給這段文本的概率。字符串越常見,佔的區間越寬;只要給出落在該區間內的任意一個數,加上文本長度,接收方就能唯一還原出原文。整個壓縮算法的核心就是在這個區間裡找一個二進制表示儘量短的數。

— Grant Sanderson
11:08

解碼只需反覆調用同一個模型

解碼過程是編碼的鏡像:接收方先用空上下文跑一次模型得到第一層分布,根據收到的數字落在哪個字符對應的區間,推出第一個字符;再把這個字符喂回模型得到下一層分布,繼續判斷數字落在哪裡,如此反覆,直到湊滿發送方告知的字符數。關鍵前提是雙方用的必須是完全相同的模型,否則解碼出的分布會對不上,整個方案就失效。

— Grant Sanderson
15:12

所需比特數就是香農信息量本身

要保證能用k比特或更少表示出落在某個概率為p的區間內的數,需要2^-k小於p,整理後得到k必須大於等於負的log2(p)——這正是香農定義的信息量。這意味著這套算術編碼在近似意義上就是香農極限的具體實現:壓縮後消息的大小几乎就等於文本在模型眼中的信息量,只多出一點舍入誤差和用於記錄消息長度的固定開銷。

— Grant Sanderson
22:21

預訓練本質是在最小化壓縮後的比特數

模型給文本的概率可以展開成一連串單字符預測概率的乘積,取負對數後就變成了一串「代價」求和,這正是交叉熵,也正是預訓練中被最小化的損失函數。於是預訓練可以換一種心理框架來理解:目標不是訓練一個「下一個詞預測器」,而是訓練「最好的文本壓縮器」——要最小化的數字就是每個訓練樣本能被壓縮到多少比特,就這麼簡單。

— Grant Sanderson
23:21

模型越大,對可預測文本壓縮得越狠

用370萬參數的NanoGPT編碼一段數學史文本要254比特、約每字符2比特,是香農估計值的兩倍;換成5億參數的開源模型Qwen,同樣的文本最後兩個詞只需要5比特,整體壓到每字符不到1比特。對美國憲法序言這種高度可預測的文本,Qwen在開頭短語之後幾乎不再需要增加比特,全文只用了10比特,比開頭演示的霍夫曼編碼提升了兩個數量級。

— Grant Sanderson
31:25

真正公平的壓縮率要把模型本身算進去

如果不把解碼程序(包括模型本身)的體積計入最終壓縮大小,就能作弊:讓解碼程序裡硬編碼一份維基百科原文,這樣所謂的壓縮載荷可以任意小,Hutter Prize正是為了防止這種作弊才把解碼程序大小計入評分。按這種算法,兩個預測能力相同的模型中,參數更少的那個才算壓縮得更好,這呼應了「更清晰的理解依賴更少的通用原則,而不是大量死記硬背的事實」這一直覺。

— Grant Sanderson
33:26

讓模型邊壓縮邊微調,學習速度也被計入壓縮率

如果編碼解碼過程中讓模型根據沿途看到的每個新token做反向傳播、持續微調自身權重,只要編碼端和解碼端的更新完全確定性地同步進行,雙方就能保持預測一致。這樣一來,最終壓縮率不再只取決於模型靜態的預測能力,還取決於模型適應新語境的速度——學習率越好,壓縮效果越好,這為「壓縮即智能」提供了第三層支撐:好的壓縮算法需要模型既擅長預測、體積又小,還要學得快。

— Grant Sanderson

原話 · 已逐字校驗

each time a probability gets chopped in half, the information content increases by one bit

每當一個概率被對半砍一次,信息量就增加一比特。

Grant Sanderson2:02

this quantity, the negative log p that we wrote down, Is not actually the Shannon information of the message, because this value p is representing the probability of the text according to the model, not the true probability of seeing that text

我們寫下的這個負對數p,其實並不是消息真正的香農信息量,因為這個p是模型給出的文本概率,而不是這段文本真實出現的概率。

Grant Sanderson20:18

a mathematically equivalent, but I think psychologically distinct, framing is to say that the objective is not prediction per se. It's to create the best possible text compressor

一種在數學上等價、但我認為心理感受上截然不同的框架是:目標其實不是預測本身,而是打造最好的文本壓縮器。

Grant Sanderson22:21

isn't it kind of disingenuous to praise an algorithm for compressing this passage so much if it's just calling out to some massive model that's basically memorized that passage somewhere in its hundreds of millions of weights

如果這個算法只是調用了一個把這段話幾乎背下來的龐大模型,那我們還誇它壓縮得好,是不是有點不誠實?

Grant Sanderson24:21

if you actually wanted to send somebody a gigabyte of Wikipedia in a compressed package, the raw data stream coming out of that arithmetic coding would be useless if you didn't also give them the means of decoding it

如果你真的想把一GB的維基百科壓縮打包發給別人,算術編碼輸出的原始數據流,如果不附帶解碼方法,是毫無用處的。

Grant Sanderson31:25

the better the learning rate, the better the compression

學習率越好,壓縮效果就越好。

Grant Sanderson33:26

I was just genuinely surprised that compression takes off many more boxes than I would have guessed the first time that I ever thought about the seemingly innocent task of making files smaller

我真心感到驚訝,壓縮這個概念能夠解釋的東西,遠比我第一次想到「把文件變小」這個看似無害的任務時猜測的要多得多。

Grant Sanderson35:27

數字與實體

NanoGPT參數量370萬22:21
NanoGPT編碼示例文本所用比特數254比特(約每字符2比特)23:21
美國憲法序言用Qwen編碼所需比特數約10比特23:21
編碼單詞math所需比特數10比特15:12

術語

arithmetic coding算術編碼
把任意預測模型轉換為近乎最優無損壓縮器的編碼方法。
Hutter Prize胡特獎
獎勵能把1GB維基百科壓縮得最小(含解碼程序體積)的算法。
cross-entropy交叉熵
模型預測分布與真實分布之間差異的度量,也是預訓練的損失函數。
asymmetric numeral system非對稱數字系統
2013年提出的另一種預測轉壓縮的方法,用整數而非實數編碼,速度更快。

收聽指南

誰該聽

想理解語言模型預訓練本質、對信息論和壓縮算法感興趣的工程師和AI研究者。