数据中心里造不出超级智能：瓶颈是真实世界的信号
把 AI 研发自动化不等于超级智能：Tom Reed 认为多数任务的数据只能在真实市场里部署模型才产生，样本效率和模拟都补不上，奇点卡在信号而非算力。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
奇点的瓶颈是信号，不是算力
Tom 的正面主张不是超级智能不可能，而是它无法在数据中心内部堆出来。他的机制是：要擅长解决问题，就必须有问题的来源，而这个来源只能是与真实世界按串行时间进行的艰苦互动。他把这浓缩成一句「信号是主权者」——身体需要痛觉，公司需要利润，模型需要真实部署。因此他判断，超级智能的到来取决于把 AI 昂贵、痛苦、缓慢地部署进经济，而不是取决于实验室内部再堆多少算力。
— Tom Reed锯齿形不会在奇点前消失
当前的能力前进方式不支持「模型在积累一个通用的 g」这种说法：模型变强的只是它有机会练习的东西，所以能力边界比任何人预想的都更参差。2016 年没人会预测到一个模型能在律师资格考试上超过斯坦福法学院毕业生，却连井字棋都下不稳。Tom 认为锯齿形主要是训练数据分布的产物，没有理由相信自动化 AI 研发会终结它，于是提出 Toner 定律：我们应当预期锯齿形持续得比预期更久，即使我们已经为此做了调整。
— Tom Reed补丁式 RL 换不来通用智能
Tom 盯住能力进步的当前工具箱：定制 RL 环境是主要引擎。按 Mechanize 的说法，每一个环境都是单个工程师花一周时间，去补上一个在真实前沿模型上观察到的具体失败；Zhengdong Wang 的说法是，过去每扩一次规模就能拿到一捆能力，现在要一个个费力解锁。Tom 的质疑是：难道要一直用「一周解决一个问题」的方式做到奇点吗？如果 RL 真能泛化，AI 公司早该拿出证据；Dwarkesh 反复追问 Dario 时，Dario 的每一次反驳都只是软弱地把 RL 类比成 GPT-2 时代的预训练泛化。
— Tom Reed大多数任务的相关数据是零
常见反驳是 LLM 样本效率极低、可以大幅改进，AI 多头会得意地指着 DeepSeek 用零头算力达到 GPT-4 水平。Tom 不认：Anson Ho 和 Beren Millidge 都指出，每 FLOP 智能的提升主要来自数据质量而非算法质量，纯算法创新在算力不变的情况下收益相当弱。更根本的是，多数任务的相关数据根本不存在——样本效率提升几个数量级，也乘不出零。他的检验方式是：如果互联网从未存在，以今天的人才和算力写代码能进步多少？他的猜测是要几百亿小时人力。
— Tom Reed关于任务的文字，不等于任务
大多数经济上有意思的任务，语料里的东西是描述、评论或建议，而不是执行任务本身的记录。Dominion 是个有大量攻略的桌游，Claude 却玩不好：教它写出关于 Dominion 的漂亮文章的训练流程，和造出一个能赢的智能体是两回事，因为优化目标是「建议看起来好」而不是「策略能赢」。Tom 的比喻是，LLM 和大多数任务的关系有点像麦肯锡和经营一家公司的关系。例外是写代码——token 本身就是任务的构成部分，所以拿国际象棋评论而不是棋局去训 AlphaZero，才是常态。
— Tom Reed分涨了，真实能力没涨
数据中心里的自我改进怎么知道自己是真变强了？SWE-bench 上被 AI 自动评分器接受的提交中，接近一半会被相关代码库的真实人类维护者拒绝——分数可以灌上去而合并率不动。Tom 反问：Claude 8 要怎么只靠 Become-POTUS eval 的结果，判断它那套天才算法是否真的提升了 Claude 9 成为总统的能力？评估是有用的，但始终是固执地不完整的代理指标；最终唯一算数的 eval 是选民、客户、经济和利润表。没有这些，你的奇点会被无情地 Goodhart 掉。
— Tom Reed市场数据不是藏着，是还没有
第二层怀疑更根本也更推测性：就算一个任意聪明的模拟器，也无法为许多任务生成练习数据，因为这些数据只能通过与相关市场的互动产生。这是哈耶克式的：某样东西好，这个信号由数百万行为者用行为揭示偏好而生成，它无法在数据中心里模拟——不是数据采集偶然失败，而是它们还不存在于任何地方。他用自己的桌游打比方：一局 Twilight Imperium 要 12 小时，他会提前几周推演到感觉稳赢，真打起来约 5 分钟后预测力就归零。持续学习也救不了，因为没有真实多样的问题集，你无法判断哪个算法更好。
— Tom Reed赢的可能是成为部署者本身
推论一：政策重心放在「内部部署」和「自动化 AI 研发」上可能是错位的——超级智能不是不可能，只是不会以现在设想的形态、在现在预测的时间线上到来；下一阶段更像部署、客户发现和真实数据收集的苦活。推论二：数据持有者的权力远超他们自己的认知（乌克兰就是一例），「能造前沿模型的公司」与「握有真实经济活动专有部署数据的实体」之间的不对称可能翻转。推论三：实验室可能逐个征服垂直行业，赢法就是自己成为部署者。
— Tom Reed原话 · 已逐字校验
Put simply, I think it’s impossible to get good at solving problems without access to a source of those problems, and that arduous interaction with the real world in serial time is the only such source.
说白了，我认为，如果接触不到问题的来源，就不可能变得擅长解决问题，而与真实世界在串行时间里的艰苦互动是唯一这样的来源。
Tom Reed1:41
We should expect jaggedness to last longer than we expect, even after we adjust for jaggedness lasting longer than we expect. Call this Toner’s law.
我们应当预期锯齿形持续得比我们预期的更久，即使我们已经为「锯齿形持续得比预期更久」做了调整。把这叫做 Toner 定律。
Tom Reed5:01
As Mechanize describe it, each environment is the product of a single engineer spending a week patching a single observed failure in a frontier model.
按 Mechanize 的说法，每一个环境都是单个工程师花一周时间、补上一个在前沿模型上观察到的具体失败的产物。
Tom Reed6:01
I would say LLMs relate to most tasks kind of like McKinsey does to running a company.
我会说，LLM 和大多数任务的关系，有点像麦肯锡和经营一家公司的关系。
Tom Reed10:36
This means that, for most tasks, our approach to training LLMs is akin to trying to train AlphaZero on chess commentary rather than on games of chess. My take would be that even a 100% success rate at predicting the tokens of a Robert Caro biography doesn’t generalise to becoming POTUS.
这意味着，对大多数任务来说，我们训练 LLM 的方式，近似于拿国际象棋评论而不是棋局去训练 AlphaZero。我的看法是，即便预测 Robert Caro 传记的 token 达到 100% 成功率，也不能泛化成成为美国总统。
Tom Reed11:40
At the end of the day, the only eval that matters is the voter, the customer, the economy, and the bottom line. Without access to any of these, your singularity will be mercilessly Goodharted.
归根结底，唯一算数的评估是选民、客户、经济和利润表。接触不到这些，你的奇点就会被无情地 Goodhart 掉。
Tom Reed14:06
You can’t simulate this from inside a data centre, because the inputs aren’t being withheld through any contingent failure of data collection — they just don’t exist anywhere yet, and they won’t until the market generates them.
你无法在数据中心内部模拟出这一点，因为这些输入并不是因为数据采集的某种偶然失败而被扣留——它们还不存在于任何地方，直到市场把它们生成出来。
Tom Reed15:28
I don’t think superintelligence is impossible — it just won’t arrive in the shape we currently anticipate, or on the timelines currently forecasted.
我不认为超级智能是不可能的——它只是不会以我们现在设想的那种形态到来，也不会在现在预测的那些时间线上到来。
Tom Reed20:13
数字与实体
| SWE-bench 上被 AI 自动评分器接受的提交中，被真实人类维护者拒绝的比例 | 接近一半 | 14:06 |
| 制作一个 RL 环境所需的投入 | 一名工程师一周，补一个前沿模型的具体失败 | 6:01 |
| 假设互联网从未存在，做出当前编码能力所需的人力 | 几百亿小时 | 9:31 |
| 一局 Twilight Imperium 的时长 | 约 12 小时 | 16:41 |
| Twilight Imperium 赛前推演模型失去预测力的时间点 | 开局约 5 分钟 | 16:41 |
| AI 2027 作者预期全自动化编码后出现全面超越人类系统的时限 | 一年内 | 0:00 |
术语
- sample efficiency样本效率
- 用更少数据达到同等能力；Tom 认为它救不了「相关数据为零」的任务。
- Goodhart Singularity古德哈特奇点
- Tom 用来指只对着评估指标自我改进而产生的假性奇点。
- jaggedness锯齿形能力边界
- 同一模型在不同任务上表现悬殊，能力参差不齐。
- continual learning持续学习
- 模型部署后边做边学的能力，被视为绕开数据瓶颈的退路。
- RL environments强化学习环境
- 为训练模型定制搭建的任务场景，Tom 说它们是一个个手工补出来的。
收听指南
关心 AGI 时间线的投资人和政策研究者，以及在垂直行业握有专有数据、想知道自己在 AI 价值链里位置的创业者。
5:01–7:15 讲锯齿形与 RL 环境，已熟悉可跳过。