世界太吵,来原声听播客

Andrej Karpathy

把文本压到每字符不到1比特:算术编码揭示压缩即预测

任何文本预测器都能通过算术编码几乎无损地变成压缩器,反过来压缩器也能还原出预测分布——压缩率本质上取决于语言模型预测的好坏。

信息论语言模型算术编码预训练压缩
用可视化方式讲清算术编码的数学原理,并延伸到预训练的本质和「压缩即智能」的论证,信息密度高但偏理论,适合想理解语言模型训练原理的人。

核心论点 · 点时间戳可跳到原声

6:05

每段文本对应数轴上一个实数

算法把任意一段文本编码成0到1之间一个极其特定的实数。想法是把每个可能的字符串视为占据数轴上一段区间,区间宽度等于模型给这段文本的概率。字符串越常见,占的区间越宽;只要给出落在该区间内的任意一个数,加上文本长度,接收方就能唯一还原出原文。整个压缩算法的核心就是在这个区间里找一个二进制表示尽量短的数。

— Grant Sanderson
11:08

解码只需反复调用同一个模型

解码过程是编码的镜像:接收方先用空上下文跑一次模型得到第一层分布,根据收到的数字落在哪个字符对应的区间,推出第一个字符;再把这个字符喂回模型得到下一层分布,继续判断数字落在哪里,如此反复,直到凑满发送方告知的字符数。关键前提是双方用的必须是完全相同的模型,否则解码出的分布会对不上,整个方案就失效。

— Grant Sanderson
15:12

所需比特数就是香农信息量本身

要保证能用k比特或更少表示出落在某个概率为p的区间内的数,需要2^-k小于p,整理后得到k必须大于等于负的log2(p)——这正是香农定义的信息量。这意味着这套算术编码在近似意义上就是香农极限的具体实现:压缩后消息的大小几乎就等于文本在模型眼中的信息量,只多出一点舍入误差和用于记录消息长度的固定开销。

— Grant Sanderson
22:21

预训练本质是在最小化压缩后的比特数

模型给文本的概率可以展开成一连串单字符预测概率的乘积,取负对数后就变成了一串「代价」求和,这正是交叉熵,也正是预训练中被最小化的损失函数。于是预训练可以换一种心理框架来理解:目标不是训练一个「下一个词预测器」,而是训练「最好的文本压缩器」——要最小化的数字就是每个训练样本能被压缩到多少比特,就这么简单。

— Grant Sanderson
23:21

模型越大,对可预测文本压缩得越狠

用370万参数的NanoGPT编码一段数学史文本要254比特、约每字符2比特,是香农估计值的两倍;换成5亿参数的开源模型Qwen,同样的文本最后两个词只需要5比特,整体压到每字符不到1比特。对美国宪法序言这种高度可预测的文本,Qwen在开头短语之后几乎不再需要增加比特,全文只用了10比特,比开头演示的霍夫曼编码提升了两个数量级。

— Grant Sanderson
31:25

真正公平的压缩率要把模型本身算进去

如果不把解码程序(包括模型本身)的体积计入最终压缩大小,就能作弊:让解码程序里硬编码一份维基百科原文,这样所谓的压缩载荷可以任意小,Hutter Prize正是为了防止这种作弊才把解码程序大小计入评分。按这种算法,两个预测能力相同的模型中,参数更少的那个才算压缩得更好,这呼应了「更清晰的理解依赖更少的通用原则,而不是大量死记硬背的事实」这一直觉。

— Grant Sanderson
33:26

让模型边压缩边微调,学习速度也被计入压缩率

如果编码解码过程中让模型根据沿途看到的每个新token做反向传播、持续微调自身权重,只要编码端和解码端的更新完全确定性地同步进行,双方就能保持预测一致。这样一来,最终压缩率不再只取决于模型静态的预测能力,还取决于模型适应新语境的速度——学习率越好,压缩效果越好,这为「压缩即智能」提供了第三层支撑:好的压缩算法需要模型既擅长预测、体积又小,还要学得快。

— Grant Sanderson

原话 · 已逐字校验

each time a probability gets chopped in half, the information content increases by one bit

每当一个概率被对半砍一次,信息量就增加一比特。

Grant Sanderson2:02

this quantity, the negative log p that we wrote down, Is not actually the Shannon information of the message, because this value p is representing the probability of the text according to the model, not the true probability of seeing that text

我们写下的这个负对数p,其实并不是消息真正的香农信息量,因为这个p是模型给出的文本概率,而不是这段文本真实出现的概率。

Grant Sanderson20:18

a mathematically equivalent, but I think psychologically distinct, framing is to say that the objective is not prediction per se. It's to create the best possible text compressor

一种在数学上等价、但我认为心理感受上截然不同的框架是:目标其实不是预测本身,而是打造最好的文本压缩器。

Grant Sanderson22:21

isn't it kind of disingenuous to praise an algorithm for compressing this passage so much if it's just calling out to some massive model that's basically memorized that passage somewhere in its hundreds of millions of weights

如果这个算法只是调用了一个把这段话几乎背下来的庞大模型,那我们还夸它压缩得好,是不是有点不诚实?

Grant Sanderson24:21

if you actually wanted to send somebody a gigabyte of Wikipedia in a compressed package, the raw data stream coming out of that arithmetic coding would be useless if you didn't also give them the means of decoding it

如果你真的想把一GB的维基百科压缩打包发给别人,算术编码输出的原始数据流,如果不附带解码方法,是毫无用处的。

Grant Sanderson31:25

the better the learning rate, the better the compression

学习率越好,压缩效果就越好。

Grant Sanderson33:26

I was just genuinely surprised that compression takes off many more boxes than I would have guessed the first time that I ever thought about the seemingly innocent task of making files smaller

我真心感到惊讶,压缩这个概念能够解释的东西,远比我第一次想到「把文件变小」这个看似无害的任务时猜测的要多得多。

Grant Sanderson35:27

数字与实体

NanoGPT参数量370万22:21
NanoGPT编码示例文本所用比特数254比特(约每字符2比特)23:21
美国宪法序言用Qwen编码所需比特数约10比特23:21
编码单词math所需比特数10比特15:12

术语

arithmetic coding算术编码
把任意预测模型转换为近乎最优无损压缩器的编码方法。
Hutter Prize胡特奖
奖励能把1GB维基百科压缩得最小(含解码程序体积)的算法。
cross-entropy交叉熵
模型预测分布与真实分布之间差异的度量,也是预训练的损失函数。
asymmetric numeral system非对称数字系统
2013年提出的另一种预测转压缩的方法,用整数而非实数编码,速度更快。

收听指南

谁该听

想理解语言模型预训练本质、对信息论和压缩算法感兴趣的工程师和AI研究者。