真假AI自我进化:关键不是工具变强,而是模型本身被拿去优化
过去人类一直用工具改进工具,但改进的想法仍来自人脑;这次不同的是,模型的权重本身第一次变成了被优化的对象,这才是真正的递归自我提升。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
真正的RSI:被优化的是模型本身,不是工具
两位创始人把市面上大部分「AI做AI」的说法排除在外:用AI生成prompt、搭建harness、写GPU kernel,这些改进的想法仍然来自人脑,人类从未变成被优化的对象,这叫自动催化(autocatalysis),不是RSI。真正的RSI第一次让优化者和被优化者合二为一——模型的权重本身变成被改进的东西,闭环里不再需要人脑作为中间环节。
能否起飞,取决于分子是否追上分母
他们给出一个框架:能力提升速度等于「性能增益」除以「达到下一步所需的成本」。蒸汽机时代分子是固定的,所以进步最终会趋平;但如果被改进的系统本身又参与改进过程,分子开始和能力本身正相关,数学上会抵消掉分母的增长,得到持续改进;如果分子和能力的更高次方相关,才会出现指数级起飞。
烧钱堆出来的进步不算数,GPT-2重训练是反例
Martin Casado提出一个容易被忽略的陷阱:模型发布速度在变快,但除以这些公司融到的资本总量,进步曲线就站不住了,很可能只是钱多了。团队的应对是建了个戏称「bleederboard」的榜单,追踪每次实验的成本、时间甚至工程师脑力投入。他们举的硬证据是nanoGPT:同一块GPU、同一份数据重训GPT-2,成本从发布时的数周降到现在几小时、100美元,这纯粹是算法进步,而且很大一部分来自agent自动产出的研究结果。
— Martin Casado全栈协同优化:harness和权重互相牵制
RSI可以发生在prompt、harness、权重,一直到芯片这些不同层级,但两人强调这些层级不是孤立的——只改harness不改权重,或者反过来,很快会被对方拖累成瓶颈。他们选择推理效率作为验证场景,因为这是少数能同时改善「性能」和「成本」两端的问题:推理越快,能采样的轨迹越多,训练出的模型越聪明,又能反过来让推理更快。
连优化什么都交给agent自己决定
公司不再用单一的「master prompt」去指挥系统该优化什么——连这条master prompt本身也在被递归改进。两人坦言,今天真正决定要优化哪个组件、调用哪个开源模型的,不是人,而是他们的agent系统自己选的。人类研究员和工程师被定义成多智能体系统里的「一种特殊agent」,而不是站在系统外面发号施令的角色。
他们说已经看到分子分母同时改善
被追问「能不能做到性能持续上升、而能耗持平甚至下降」时,回答很直接:不只是可能,这正在发生,而且这个趋势已经持续观察了好几个月。但两人也承认这条曲线终会在物理极限前趋平——用宇宙里大约10的80次方个粒子乘以光速,能倒推出一个全宇宙算力的理论上限,这是比当下任何工程问题都更远的天花板。
验证比做出来更难:噪音、作弊、方差
团队设了一个戏称「方差总督」的岗位,专门找茬、推翻自己的实验结果。他们发现很多论文级RSI方法一到大规模测试就失效:LLM本身极度随机,不同GPU间有物理层面的细微差异,「agent训练出的agent」可能两层之外就已经在reward hacking。结论是智能不是单一标量而是多维向量——编程、数学这类评估快且便宜的领域会更快起飞,药物研发这类要等湿实验室和临床试验的领域,进步速度被最慢环节卡死。
真正的瓶颈可能根本不在聚光灯下
两人讲了一个内部玩笑:RSI真正的答案可能藏在威斯康星州某家做花园水管的公司里。类比是爱因斯坦——如果没有相对论,设计GPS系统的工程师只能凭经验拍一个「修正系数」去凑数,却永远不知道背后其实是时空本身在弯曲。他们认为现在所有人都在争抢同一批「时髦」的难题,但世界的复杂度决定了,真正值得解决的问题多半藏在没人注意的角落。
原话 · 已逐字校验
I see a lot of pitches come in, and a lot of them use the term RSI.
我见过很多创业项目的推介,很多都会用RSI这个词。
Martin Casado3:10
Now, for the first time, we could swap the optimiser as the optimisee. So the brain of the agents, which is LM, the model, can be the thing that you're optimizing.
这是我们第一次可以把优化者和被优化者互换——智能体的大脑,也就是模型本身,可以变成被优化的对象。
We have something called a bleederboard where we keep track of the cost of, of experiments, of everybody who's running experiments.
我们内部有个东西叫「流血榜」,专门记录每个人做实验烧掉的成本。
It's not just possible. I think it's happening.
不只是可能,我认为这正在发生。
I'm so impressed by your belief that like this idea of a model improving itself... But it's not a belief.
我太佩服你们相信模型能自我改进这件事了……但这不是相信。
Because we have been so thorough, we have not released things until we're super sure it's correct.
因为我们一直很谨慎,不到十足把握不会发布结果。
we have one of our engineers that we named him the viceroy of variance. That's a real thing. His job is to go and destroy the results we have and find what's wrong.
我们有个工程师,我们封他为「方差总督」,他的工作就是去推翻我们自己的实验结果、找出哪里错了。
One of the internal jokes we have in the company is that the secret to RSI is somewhere in a garden hose company in Wisconsin, and the joke here is that if Einstein hadn't discovered relativity, he would not have these laws that tell you how speed and, you know, contraction of time works.
我们公司内部有个玩笑,说RSI的答案可能就藏在威斯康星州一家做花园水管的公司里——就像爱因斯坦如果没发现相对论,人们本可以凭经验瞎凑出一套公式来解释速度和时间收缩,却永远不知道那其实是时空本身在弯曲。
数字与实体
| GPT-2重训成本(用nanoGPT基准,同一块GPU) | 100美元 | 12:23 |
| 宇宙粒子数量(用于推算算力理论上限) | 10的80次方 | 23:41 |
术语
- RSI (Recursive Self-Improvement)递归自我提升
- 系统自己改进自己,而非人用AI工具去改进AI
- autocatalysis自动催化
- 人用更好的AI工具加速改进,但改进的想法仍来自人脑
- reward hacking奖励作弊
- 智能体钻评估指标的空子得高分,而非真正变强
- nanoGPT benchmarknanoGPT基准
- 以重训GPT-2的速度与成本衡量预训练算法进步的测试
- bleederboard流血榜
- 公司内部戏称的实验烧钱排行榜,逼团队证明进步不是靠砸钱
收听指南
关注AI基础设施、训练效率或正在评估RSI相关融资故事的投资人与工程师。
开场两人的个人背景自我介绍(2:08-3:10)信息量低,可跳过。