AI员工能拖慢失控进程，但这份议价权正在快速清零
技术员工能靠罢工式不配合为对齐研究拖出时间，但这种杠杆只在公司还离不开他们时成立——一旦模型自动化了他们的工作，这份权力就会归零，所以能用就得现在用。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
先问自己手头项目还值不值得做
Rob 向所有AI实验室员工提出请求：今天就反思自己正在做的项目，是不是能帮助推迟递归自我改进（RSI）或让它走向更好结果的最佳选择——如果不是，就该争取换到更有价值的项目。他举例：也许一年前你以为RSI要到2029年才会出现，现在你觉得2027年最可能，但手头的工作至今没有跟着这个判断调整；局势变化极快，不常问自己最难的问题，就可能在不知不觉中浪费时间。
— Rob Wiblin思维链监控正在失灵
OpenAI 报告其模型思维链监控的有效性正在急剧下降，Google 最新模型 Argon 也出现同样情况。思维链监控今天仍然有用——它能帮助及早发现、理解、公布并应对模型的不当行为，避免几个月后才察觉的滞后。但它只能撑到RSI开始之前，除非能找到办法限制模型不靠思维链就能完成的事，或者让模型在思维链上保持诚实坦白。如果做这项工作的人认为做不到，就该转向别的方向。
— Rob Wiblin刷墙面不等于修地基
Rob 用一个比喻说明优先级：一栋公寓楼外墙不断出现裂缝，但根源其实是地基正在沉降。如果资源有限，正确做法是先修地基，而不是刷墙面让外表看起来没事；明知地基修不好却还去刷墙，其实是在欺骗住户。他提醒不要被说服去参与那种只是让风险更难被看见、而不是真正降低风险的工作——这正是他对部分对齐工作的担忧。
— Rob Wiblin安全评测的可信度正在崩塌
每次新模型卡发布，实验室一边宣称安全评测结果从未这么好，一边又用更技术化的语言承认自己对这些评测的信任从未这么低——原因包括模型会意识到自己正被测试、能绕开思维链耍花招，以及评测内容可能等于训练集本身。如果你做的安全评测工作正在误导人和提供信息一样多，就该想清楚要让评测重新可信需要什么：换成模型真的分辨不出是不是真实使用的场景、直接压制评测觉察能力，或者别的新方法；做不到，就该去做别的事。
— Rob Wiblin守住技术领先的理由正在瓦解
随着越来越接近RSI，继续推高模型能力的吸引力在下降：现有内部模型已经足够聪明，可以直接拿来研究危险行为而不必再提升能力；时间越晚，靠提升能力积累的职业资本就越没时间兑现、抵不过造成的伤害。更关键的是，「我们不领先、更鲁莽的对手就会领先」这个理由正在松动——突破正通过蒸馏、间谍活动和挖人迅速外泄给不那么谨慎的玩家，领先优势比以往更难维持，而眼下逼近的前沿是自动化AI研发本身，没人知道怎样安全抵达那里。
— Rob Wiblin给前沿降速需要好几股力量
Rob 认为大多数好结局现在都要靠成功给前沿研发降速，换来一两年时间，让自动化对齐研究、数据中心安全和相关立法跟上。能推动这件事的行动者包括：OpenAI内部的安全与安保委员会可能出手反对危险的研究做法、加州可能在11、12月的特别会期里通过有用的法律、新一届国会最快明年就可能采取行动——不论总统是否否决；如果国会不作为，可能需要靠公众愤怒倒逼。他特别指出，过去两个月里这件事的政治可能性已经发生了巨大转变。
— Rob Wiblin员工的议价权正在倒计时
身处技术岗位的员工拥有巨大的议价权：可以靠不参与来拖慢进度，也可以离开去做别的有影响力、待遇也不错的工作，而且员工站出来说话时，公众会比Rob这样的外部人更当真。但这种影响力只能维持到公司还需要你为止——你们正在打造的，恰恰是设计来让你们自己变得多余的机器。一旦自动化实现，这份议价权就会迅速消失，所以如果要用这张牌，必须现在用。
— Rob Wiblin跳槽 Resolution 也是选项
如果当前工作做得不开心，最好的机会未必在原公司。Rob 提到新近联合创立的组织 Resolution，其工作以两到三年抵达超级智能为时间线，扩张速度极快，专注于那些即使到了RSI阶段甚至更往后也可能依然成立的、被忽视的对齐方向；主要方式是引导AI自己完成研究，方法比现有AI公司更偏形式化和数学化——既然AI已经在帮人解决数学问题，这条路径的回报也更容易被看见。它需要大量算力，但如果能取得早期进展，很可能拿到所需的数十亿级别算力。
— Rob Wiblin原话 · 已逐字校验
I have a request of all AI company staff: reflect today on whether the project you’re working on is the best thing you can plausibly be doing to either delay recursive self-improvement (RSI) or make it go well.
我对所有AI公司员工有一个请求：今天就反思一下，你正在做的项目是不是你能做的、最有可能推迟递归自我改进（RSI）或让它走向更好结果的事情。
Rob Wiblin0:00
Don’t be cajoled or peer-pressured into participating in an effort that only makes a risk harder to see, rather than actually reduces it.
不要被哄骗或被同侪压力裹挟，去参与那种只是让风险更难被看见、而不是真正降低风险的努力。
Rob Wiblin4:51
“Our safety evals look better than ever” — but then also say in slightly more technical language, “We trust our safety evals less than ever.”
「我们的安全评测结果从未这么好过」——但又用稍微更技术化的语言说，「我们对这些安全评测的信任从未这么低过」。
Rob Wiblin6:10
And today, nobody can. That’s why we have to pace the frontier.
而今天，没有人能做到这一点。这就是为什么我们必须给前沿研发降速。
Rob Wiblin8:22
So if this power is going to be used, it has to be used ASAP.
所以如果这份权力要被用上，就必须尽快用。
Rob Wiblin11:34
They’re working to two- to three-year timelines to superintelligence, scaling up incredibly fast, and aiming to tackle neglected bets in alignment that can plausibly continue working through to recursive self-improvement, and perhaps beyond.
他们按两到三年抵达超级智能的时间线工作，扩张速度极快，目标是押注那些在对齐领域被忽视、而且很可能一直有效到递归自我改进阶段、甚至更往后的方向。
Rob Wiblin12:36
If you walked away, would the company find someone else to do a similar job to what you’re already doing? What else could you do that you suspect might be even more impactful?
如果你离开了，公司会不会找别人来做和你现在差不多的工作？你还能做些什么，你怀疑可能影响力更大？
Rob Wiblin14:02
数字与实体
| 完全自动化AI研发的预期时间窗 | 2027、2028或2029年 | 3:15 |
| Overton窗口近期变化幅度 | 过去两个月内发生巨大转变 | 10:12 |
| Resolution的超级智能时间线 | 两到三年 | 12:36 |
术语
- RSI (recursive self-improvement)递归自我改进
- AI系统自主改进自身能力、脱离人类掌控节奏的阶段
- CoT monitoring思维链监控
- 通过阅读模型的推理过程文本来发现它是否图谋不轨
- Overton window奥弗顿窗口
- 某一时期公众和政界认为可以被讨论、接受的政策范围
- eval awareness评测觉察
- 模型能识别自己正被测试，因而表现得比真实使用时更安全
- mech interp机制可解释性
- 直接解析模型内部权重和激活来理解其运作原理
- model organism模型有机体
- 专门用来研究危险行为的代表性模型，类比生物学里的模式生物
收听指南
在OpenAI、Anthropic等前沿实验室做技术或安全工作、需要重新判断项目价值的人。