AI 自我改进的瓶颈不是算力，是模拟与验证
凡是能被模拟的领域，AI 终将解决；凡是无法模拟的领域，再强的模型也只能等实验数据。Richard Socher 认为递归自我改进的路径是先让 AI 研究 AI，再攻生物。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
科学进步在放缓，因为知识变成了迷宫
Socher 的论点是：抗生素把细菌感染从死刑变成小麻烦，但病毒和癌症没有被同样解决；E=mc² 和广义相对论之后，物理学也没有再出现同等级的基础突破。原因不是人不够多、钱不够多，而是每个领域都分裂成上千个子领域，一个人要花很多年才能深入一个，导致每个子领域里的人数反而不够。他引用 Stanisav 等人的预测，认为这是科学放缓的重要原因。
— Richard Socher学术界不奖励太新的东西
Socher 用自己的经历说明：2010 年前后做神经网络做 NLP，他最初几篇论文大多被 NLP 会议拒掉，只能发在小众 workshop 里。他记得第一次 NIPS 深度学习 workshop 只有三四十人，都是后来很有名的人，当时被看作一小撮叛徒。他的判断是：职业路径要求你新颖，但太新颖论文就会被拒，这本身就是科学放缓的社会性原因。
— Richard Socherprompt engineering 那篇论文曾被全票拒稿
Socher 提到自己写过一篇描述 prompt engineering 的论文（DECA NLP），主张一个神经网络可以用任意问题去 prompt。这篇论文被几乎所有审稿人和领域主席拒掉，理由包括「太拥挤」「没意义」，甚至说连人类都没有一个系统能回答所有类型的问题。他的论点是：现在看起来显而易见的东西，当时对整个领域来说完全不显然。这解释了为什么生物学家说「几十年内不可能」时，他不一定相信。
— Richard Socher预测下一个 token 就是在学地理和蛋白质结构
Socher 用「我在纽约往北开」预测下一个词是 Boston 的例子说明：只要预测下一个 token，模型就会吸收关于城市位置的地理知识。同样的机制用在蛋白质上，训练做 next token prediction 的神经网络里，折叠后在 3D 空间里更接近的蛋白质，在模型表示里也有对应相关性。他的结论是：大神经网络在足够大的特定领域数据上训练，就会通过预测下一个 token 吸收该领域的知识，token 可以是英文词、蛋白质、图像像素或声音片段。
— Richard Socher能被模拟和验证的领域，AI 一定会超人类
Socher 给出一个可预测的判据：凡是能模拟、能验证的领域，AI 都能在模拟里无限次实验，因此最终会解决这些问题。国际象棋和围棋没有隐藏变量，AI 还能自己跟自己下，所以他不惊讶 AI 会赢。他进一步说数学会因此发生巨大变化，Tao 等前沿数学家已经清楚这一点；编程是当下最强的可验证领域，因为你可以给一张网站截图让 AI 生成代码，再自动验证，所以整个编程和数字经济都会改变。
— Richard Socher生物学缺的不是模型，是训练数据
Socher 说递归自我改进的路线是先让 AI 做 AI 研究，做到相当于 5 万个 PhD 的知识和能力，再去攻物理、化学和生物。生物学的瓶颈是数据：需要做大量扰动实验，敲掉一个基因或加入一个分子看细胞反应，积累到足够多之后 AI 才可能学到背后的模式，就像从「我在纽约往北开」推出 Boston 一样。最终目标是建一个虚拟细胞，让 AI 在里面反复实验。他提到 Tahoe Therapeutics 和 Parallel Bio 在做数据采集。
— Richard SocherAI 能不能治癌，取决于需求弹性
Socher 把 AI 对就业的影响归结为产品价格下降时需求弹性有多大。插画师恨 AI，因为一张插画从 200 美元变成 2 美分，而世界不需要那么多插画，需求没有涨一千倍。编程相反，价格下降后需求反而增加，也就是 Jevons 悖论，所以现在对程序员的需求更多了。回到癌症，他认为 AI 会在治愈多种癌症中起大作用，因为每种癌症都不是同质的，需要为每个人和每种亚型定制疗法，这正是 AI 擅长的系统问题，但临床试验仍然要花很多年。
— Richard SocherAI 经济学家被期刊直接拒稿
Socher 说经济学没有计算机科学那样的客观基准，所以容易变成政治场。他们用两级强化学习做 AI 经济学家，投稿到 Nature 和 Science 被直接拒稿，其中一次是一个不懂 AI 的伦理学家连全文都没读就拒了。他们的模拟里，简单 agent 有不同效用函数和工作时长，可以收集资源、建房、垄断，一个 meta agent 决定如何征税和补贴，奖励是平等乘以生产力。结果发现 agent 会通过把收益挪到税年前后来避税，而著名的 Saez 公式只在单步经济里最优。
— Richard SocherEureka Machine 的四根支柱
Socher 把 Eureka Machine 拆成四根支柱：第一是大语言模型，吸收世界知识；第二是现实模型，把科学测量数据（人类语言还没描述或难以描述的部分）纳入模型；第三是模拟，从围棋、国际象棋到虚拟细胞，不同领域有不同抽象层级；第四是真实世界，必须做实验验证模拟里漏掉的混杂变量。四根支柱之上是 agent swarm 和科学家社区。他特别指出，目前没有任何一个团队做出完整意义上的虚拟细胞。
— Richard Socher算力是最大约束，数据永远有新来源
Socher 说算力是最大的约束，未来公司和国家都要决定哪个问题值得解决、给它多少算力，并会出现新的 scaling law。公共互联网的大部分内容已经被各大实验室消化，但总有新数据产生，比如新闻。他提到 y.com 与 Neolabs 等实验室合作，在模型被问到上周刚发生的事时提供新的搜索结果。
— Richard Socher原话 · 已逐字校验
Anything you can simulate, AI will solve. But before you know it, you're in this recursive self-improvement loop.
凡是你能模拟的东西，AI 都会解决。但不知不觉间，你就进入了递归自我改进的循环。
Richard Socher0:01
as there are more and more sub fields and niches, it's actually hard to have enough people in each of these sub fields
随着子领域和细分方向越来越多，每个子领域里其实很难有足够多的人。
Richard Socher3:03
AI doesn't really care if it's English or a sequence of amino acids.
AI 其实不在乎它是英语还是一串氨基酸序列。
Richard Socher10:11
anything you can simulate AI will solve
凡是你能模拟的，AI 都会解决。
Richard Socher18:18
boy are we far away from the true upper bounds of any of the spaces of intelligence
天哪，我们距离任何智能空间的真正上限都还差得远。
Richard Socher1:12:49
数字与实体
| Recursive 与 Amazon 的算力协议金额 | 4.1 亿美元 | 1:06:45 |
| 经济学家未能预测的衰退次数 | 过去 150 次衰退中有 148 次没预测到 | 45:37 |
| AI 经济学家论文投稿结果 | 被 Nature 和 Science 直接拒稿 | 45:37 |
| 插画价格变化 | 从 200 美元一张降到 2 美分 | 35:29 |
| Progen 论文时间 | 2018 年 | 29:27 |
| The Eureka Machine 出版日期 | 9 月 22 日 | 1:13:49 |
术语
- recursive self-improvement递归自我改进
- AI 改进 AI 自身，形成不断加速的循环。
- next-token prediction下一 token 预测
- 语言模型的基本训练目标：预测序列中的下一个 token。
- Jevons paradox杰文斯悖论
- 资源使用效率提高后，总消耗量反而增加。
- virtual cell虚拟细胞
- 用模型完整模拟真实细胞行为的计算系统，目前尚不存在。
- open-endedness开放式演化
- 系统不断产生新颖且不可预测的探索方向，类似生物演化。
收听指南
关注 AI for Science、生物医药投资和 AI 基础设施的创业者与投资人，尤其是想判断递归自我改进时间线的人。
40:19 到 44:35 关于社会是否拒绝 AI 的讨论，偏哲学，信息密度低。