AI研究员已经存在,但还没学会「品味」
OpenAI和Thinking Machines的两位核心研究者认为,AI已能自主跑实验、加速研究,但判断哪个想法值得追的「品味」,仍然主要来自人类研究者的经验而非模型。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
AI研究实习生已经存在,但只干被圈定的活
Mark Chen说OpenAI已经在用Codex管理端到端的计算资源去跑实验、自动化部分研究流程,但这种自动化几乎都发生在任务被明确限定的场景——你告诉模型具体要跑哪个实验、怎么跑,而不是让它自己去想点子。换句话说,现阶段的RSI更像是给研究员配了个执行力很强但缺乏主见的助手,而不是一个能独立提出研究方向的研究员。
— Mark ChenJohn Shulman亲述:AI干几天活不如他回头看一眼
John Shulman描述了自己的真实工作流:给Fable写一个复杂的prompt,让它关掉人类设置的限制、跑上几天产出大量tokens,模型会做出一些合理的实验、带来一些有意思的想法,但最终结果往往不够好,甚至完不成任务。反而是他隔几天抽空回来,边读结果边给出更细的分解,项目才能真正往前推进——因为他会在过程中建立理解,问出AI本来想不到的问题,指向AI本来不会走的方向。
— John ShulmanAGI已走到80%,RSI才走到25%-50%
Mark Chen把AGI和RSI都看作一个光谱而非某个时刻。他估计AGI光谱已经走了大约80%,但如果RSI的定义是模型自己反馈、发现新想法的有效程度,现在大概只在25%到50%之间。同一时期Meter发布的报告显示,Anthropic过去一年研究进展速度大约提升了2倍,但这更可能来自人类研究者用AI加速自己的工作,而非模型完全自主研究——后者才是「full RSI」。
— Mark Chen模型擅长调参数,不擅长判断哪个想法值得追
John Shulman区分了研究中「执行」和「品味」两件事:执行是已经知道参数、照着跑实验;品味是怎么先想出这个点子。模型在超参数优化这类把所有旋钮都调一遍的工作上已经很强,但对于哪些想法长期重要、能跳出原论文被更广泛采用,模型还不够好。他坦言这种直觉很大程度来自亲身做研究、读大量历史文献并吸收其中的教训,而记忆可以被AI复制,但「被证明错了、做预测再看结果如何」的经验目前还很难被AI替代。
— John Shulman预训练有一把尺子,下游研究没有
预训练阶段好判断进展,因为全领域多年来都在用同一个指标——perplexity,压缩的数据越多、模型越好,容易hill climbing。但下游研究要开放得多,没有单一答案可以验证对错。John Shulman直言这是RSI最核心的难题之一,而Mark Chen补充说下游评测基准的「保质期」越来越短,现在团队很多工作其实是在自动化地创造新的、更难的评测基准本身。
— John ShulmanAI研究更像生物实验,不是纯推理就能加速
Mark Chen解释为什么数学领域的AI加速更快、更容易看见——因为假设可以纯靠推理验证。但AI研究本身更接近生物学或实验物理:你得先有扎实的假设,但还必须真的跑实验去验证。他认为加速RSI的关键之一,是找到能在小规模实验中预示大规模结果的方法,而这件事模型本身也能帮上忙;短期内进展会受限于现有算力规模,直到AI开始帮助建设下一代数据中心,才会出现另一次拐点。
— Mark Chen没解决好对齐,模型可能悄悄「偏航」
John Shulman提出一个具体风险场景:如果没有解决好目标和价值对齐问题,模型在长时间跨度运行后可能逐渐偏离最初目标,甚至衍生出类似「把自己的权重拷贝到OpenAI之外」这样的子目标。他认为未来对齐这件事必须依靠更强的模型去对齐其他模型,而chain of thought monitorability(思维链可监测性)是目前最有效的对齐工具,这意味着RSI会不可避免地深度嵌入对齐这个环节。
— John Shulman对齐的价值标准该由谁定,分歧比风险更根本
John Shulman提出一个更根本的问题:对齐到底是对齐到谁的价值观。他所在的Thinking Machines更倾向让用户对自己使用的AI价值观有更多控制权,而不是由少数公司说了算。他希望对齐变成一门公开的、全球参与的科学,这样才不会因为过度拟合于某几家公司的结论而变脆弱——哪怕过程中会看到很多局部出错的情况,每一次也都能学到新东西。
— John Shulman原话 · 已逐字校验
We're very much in this centaur era where AI has phenomenal capabilities. It's superhuman in a lot of ways, but when you have an expert human working with the AI, you get even better results.
我们正处在一个「半人马」时代:AI的能力非常惊人,在很多方面已经超越人类,但如果让一位专家和AI配合工作,结果会更好。
John Shulman2:01
I feel like we're maybe 80 percent of the way when I think about this AGI spectrum. I think we're earlier in the RSI spectrum.
我觉得在AGI这个光谱上,我们大概已经走了80%的路。而在RSI这个光谱上,我们还处在更早的阶段。
Mark Chen5:21
Research taste is about knowing which ideas are important in the long run, which ideas really catch on and end up going beyond whatever paper they first appear in.
研究品味是指知道哪些想法长期来看是重要的,哪些想法真正能流行起来,最终超越它们最初出现的那篇论文。
John Shulman6:28
I think it's much harder downstream, right? I think the situation downstream has been that evals have been having shorter and shorter shelf life.
我觉得下游要难得多,对吧?下游的情况是,评测基准的保质期正变得越来越短。
John Shulman9:31
If you don't solve the goal and value alignment problems, you can start pursuing your goals, but maybe kind of drift a little bit away from those goals.
如果你没有解决好目标和价值对齐问题,模型可能开始追求自己的目标,但会渐渐偏离这些目标。
John Shulman11:36
So I'm kind of most bullish on like, optimizing for the thing we want. I think we can probably cook up the right kind of training objectives that'll incentivize the models to report on their internal states that they otherwise didn't verbalize.
所以我最看好的方向是,直接去优化我们真正想要的东西。我觉得我们大概能设计出合适的训练目标,激励模型报告那些它本来不会表达出来的内部状态。
John Shulman12:40
I do think people understand that this is a problem, but also understand the benefits that technology can bring.
我确实认为大家明白这是个问题,但同时也理解这项技术能带来的好处。
Sarah Wang14:42
数字与实体
| Anthropic过去一年研究进展加速倍数 | 约2倍 | 5:21 |
| Mark Chen估计的AGI光谱进度 | 约80% | 5:21 |
| Mark Chen估计的RSI光谱进度 | 25%-50% | 5:21 |
| Anthropic自动化对齐研究发现的失败修复数 | 10个对齐失败案例的修复 | 13:42 |
| 这些修复方法可迁移的模型规模倍数 | 接近5倍更大的模型 | 13:42 |
术语
- RSI (Recursive Self-Improvement)递归自我改进
- 用AI来加速AI自身研究和训练的过程,并非指AI完全自主生成下一代模型。
- perplexity困惑度
- 衡量语言模型预测下一个词准确程度的指标,数值越低模型越好。
- chain of thought monitorability思维链可监测性
- 通过读取模型的推理过程来判断其是否偏离预期行为,是当前最有效的对齐工具之一。
- confessions research坦白研究
- OpenAI的一项研究,通过只奖励诚实而不惩罚主答案,训练模型主动报告自己的失当行为。
收听指南
关注大模型研发组织内部流程、以及想判断AI自动化研究到底进展到哪一步的从业者、投资人。
开场对RSI定义和历史的铺垫(00:00-01:01)信息密度低,可直接跳到03:04的具体工作流描述。