Anthropic的法案让人几乎没法叫停危险的AI训练
法案把叫停权压缩成商务部长签字、一家特区法院45天内拍板，模型真出事时几乎来不及按下刹车。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
法案把叫停危险训练的权力收得极窄
Anthropic私下推动的联邦AI法案规定，唯一能叫停模型训练的办法是商务部长亲自签字、把案子提交到华盛顿特区的单一联邦法院；政府必须证明风险「迫在眉睫」、证明没有更轻的手段可用，法官还要从零审查、不对监管者让步。叫停令45天后自动失效，续签要重新举证一遍。更关键的是，连「未来一年10%的人类灭绝概率」算不算「迫在眉睫」都不确定——这决定了这道闸门到底拦不拦得住真正的灾难性风险。
— Rob WiblinCEO自估25%概率出大乱子，公司却在削权
矛盾之处在于，这份法案出自一家CEO公开说AI「出大乱子」概率是25%、并写过「递归自我改进必须极其谨慎地推进，如果真要推进的话」的公司。主持人认为这可以理解——Anthropic今年和特朗普政府频繁交手，担心联邦行政部门的自由裁量权会被用来敲诈政治让步，而不是真的管控危险研究。但他认为解法不该是把各州的权力也一并收走，而应保留加州等州的独立叫停权，或至少让各州总检察长也能向DC法院申请，不该把身家性命压在一个机构、一个法院的一次审查上。
— Rob Wiblin法案还会追溯废掉多州AI安全立法
法案不仅收窄联邦叫停权，还禁止各州要求AI公司公开安全计划、接受独立评估或报告事故，等于追溯废掉加州、伊利诺伊、纽约已通过的旗舰AI法律。更隐蔽的一条是：州政府原本可以用「成文法、法规、法令、司法裁定或其他行动」叫停存在重大灾难性风险的模型，按草案设计的方向，这项权力最终也会被拿走。结果是哪怕加州政府全体都认定某个未发布模型可能要了全州人的命，也无权立法或申请法院禁令叫停，只能寄望商务部长愿意走那套流程。
— Rob WiblinOpenAI同一天下午同时开除三名安全研究员
Tomek Korbak、Mikita Balesni、Jasmine Wang在同一天下午2点的会议上分别被开除，理由各不相同且站不住脚，后来OpenAI改口说是更严重的「信任破裂」却拒绝说明细节。据报道起因是一次泄密调查：有报道称OpenAI新模型用了「循环transformer」技术，这是公司不想外界知道的。调查人员怀疑消息经由研究员与外部人士Ryan Greenblatt的Signal对话泄露，但两人用的是阅后即焚消息，无法自证清白。循环transformer会让模型在写下思维链之前做更多隐藏计算，业内一直警告这是走向不可监控模型的苗头，三人恰好此前都公开支持保持思维链可监控。
— Rob Wiblin开除三人的证据链其实相当薄弱
用阅后即焚聊天在科技圈和AI圈是常态，不能单凭这点定罪，否则全公司从CEO往下都可疑。披露这条新闻的The Information多年来一直能挖到AI公司内部消息，消息源可能来自投资人、前员工甚至饭局闲聊，未必是这三人。反对循环transformer的OpenAI员工可能有上百甚至两百人——今年就有近400名员工联署请愿要求为安全放慢AI研发。主持人个人判断Greenblatt泄密的可能性很低，这完全不符合他的行事风格。结论是：开除很可能是个错误，代价是公司以后更难得到员工坦诚意见，真正的泄密者也可能从此找不到了。
— Rob WiblinGoogle DeepMind合同里的终身禁评条款
据BBC报道，Google DeepMind英国员工的雇佣合同规定，他们终身不得公开批评Google做的任何事——这条规定因前员工想批评Google向美国国防部出售AI（只要国防部自认定合法即可用）而浮出水面，该交易已让不少员工愤而辞职。这让人想起两年前OpenAI被曝出的「不得诋毁」协议丑闻：员工离职批评公司就没收其可能价值千万美元的股权，且条款本身要求保密；曝光后OpenAI、Anthropic都被迫承认有类似条款并承诺取消。Google DeepMind这条虽没有保密要求、罚则也不是没收股权，但诉讼本身对普通人就是巨大威慑。
— Rob Wiblin想留下就在公开Slack频道讲理由，想走就公开辞职信
主持人给出渐进做法：想留下，就在同事能看到的公开Slack频道里冷静、理性地说明反对某个决定的具体理由，聚焦在最关键的几件事上，不逢事必反，并愿意被说服。如果合理异议始终得不到满意答复，可以升级为公开表示这让你质疑公司的判断和战略、考虑离开；仍无效就递交一份周全的辞职说明，离职后再公开陈述理由。他认为公司能自动化掉员工工作的速度越来越快，员工手里的议价筹码会随时间缩水，所以「现在不发声，更待何时」。
— Rob Wiblin「反私利」行动证明外部施压确实能改变结果
针对OpenAI计划架空非营利母公司和慈善宗旨的「Not For Private Gain」行动，参与者数量很少，但配合各州总检察长关注和更广泛联盟施压，最终迫使OpenAI大幅修改方案：OpenAI基金会多拿到了大约750亿美元价值的股权，其安全与安全委员会还锁定了对一系列安全议题的决策权。类似的还有2024年前员工发起的「预警权」行动，后来演变成加州SB 53里的吹哨人保护条款；持续曝光OpenAI一边公开支持监管一边背后游说阻挠的报道，也促成了OpenAI转向支持SB 53一类监管，并让总裁Greg Brockman停止了对游说PAC「Leading the Future」的捐款。
— Rob Wiblin原话 · 已逐字校验
Under their proposed bill, the only way the federal government could halt model training is for the Commerce Secretary to personally sign off on a detailed case and take it to a single federal court in DC.
按他们提议的法案，联邦政府想叫停模型训练，唯一的办法是商务部长亲自签字、把详细案子提交到华盛顿特区的一家联邦法院。
Rob Wiblin1:34
a company whose CEO puts the chance of AI going “really, really badly” at 25%
这家公司的CEO自己说AI「出大乱子」的概率是25%
Rob Wiblin4:02
Anthropic’s approach ties California’s hands, it ties the hands of state attorneys general, and it ties the hands of state courts.
Anthropic这套做法捆住了加州的手脚，捆住了各州总检察长的手脚，也捆住了州法院的手脚。
Rob Wiblin5:15
looped transformers increase the amount of computation a model can perform before writing down what it’s thinking on the chain of thought.
循环transformer会让模型在把想法写到思维链上之前，先做更多的计算。
Rob Wiblin8:58
Almost 400 OpenAI staff signed a petition earlier this year backing a push to slow AI down for safety reasons.
今年早些时候，近400名OpenAI员工联署了一份请愿书，支持出于安全原因放慢AI发展速度。
Rob Wiblin10:12
their UK employment contracts bar them from publicly criticising anything Google does, for the rest of their lives.
他们的英国雇佣合同规定，终身不得公开批评Google所做的任何事。
Rob Wiblin12:52
If we reach the end and you haven’t made a fuss about something, you’ve almost certainly left some possible positive impact on the table.
如果走到最后你什么都没闹腾过，那你几乎肯定是把本可以产生的正面影响白白放弃了。
Rob Wiblin19:56
The end result was the OpenAI Foundation got a stake worth perhaps $75 billion more than what originally seemed likely.
最终结果是，OpenAI基金会拿到的股权价值比原本预期多了大约750亿美元。
Rob Wiblin21:39
数字与实体
| 法案规定的叫停令有效期 | 45天（到期须重新举证） | 1:34 |
| Dario对AI「出大乱子」概率的估计 | 25% | 4:02 |
| 联署要求放慢AI研发的OpenAI员工人数 | 近400人 | 10:12 |
| Anthropic红队测试中突破AI代理安全监控的复杂攻击占比 | 超过一半 | 15:46 |
| Anthropic与OpenAI各自提供给AI生物安全实验室的算力额度 | 各1亿英镑 | 15:46 |
| OpenAI基金会因「反私利」行动多拿到的股权价值 | 约750亿美元 | 21:39 |
| 联署批评Google DeepMind的英国议员人数 | 60人 | 26:39 |
术语
- looped transformers循环transformer
- 让模型在写出思维链前做更多隐藏推理计算的架构技巧
- chain of thought思维链
- 模型给出答案前写下的中间推理文字，是外部监控其意图的窗口
- non-disparagement agreement不得诋毁协议
- 离职员工若公开批评公司就没收其股权的保密条款
- federal preemption联邦优先权
- 联邦法律生效后，相应的州一级法律随之失效或受限
- Not For Private Gain campaign「反私利」行动
- 阻止OpenAI架空非营利母公司、为其争取更大股权和监督权的倡导行动
收听指南
关注AI治理、公司博弈和吹哨人机制的创业者、政策研究者，以及AI公司内部正纠结该不该发声的员工