Anthropic的法案讓人幾乎沒法叫停危險的AI訓練
法案把叫停權壓縮成商務部長簽字、一家特區法院45天內拍板，模型真出事時幾乎來不及按下剎車。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
法案把叫停危險訓練的權力收得極窄
Anthropic私下推動的聯邦AI法案規定，唯一能叫停模型訓練的辦法是商務部長親自簽字、把案子提交到華盛頓特區的單一聯邦法院；政府必須證明風險「迫在眉睫」、證明沒有更輕的手段可用，法官還要從零審查、不對監管者讓步。叫停令45天后自動失效，續簽要重新舉證一遍。更關鍵的是，連「未來一年10%的人類滅絕概率」算不算「迫在眉睫」都不確定——這決定了這道閘門到底攔不攔得住真正的災難性風險。
— Rob WiblinCEO自估25%概率出大亂子，公司卻在削權
矛盾之處在於，這份法案出自一家CEO公開說AI「出大亂子」概率是25%、並寫過「遞歸自我改進必須極其謹慎地推進，如果真要推進的話」的公司。主持人認為這可以理解——Anthropic今年和特朗普政府頻繁交手，擔心聯邦行政部門的自由裁量權會被用來敲詐政治讓步，而不是真的管控危險研究。但他認為解法不該是把各州的權力也一併收走，而應保留加州等州的獨立叫停權，或至少讓各州總檢察長也能向DC法院申請，不該把身家性命壓在一個機構、一個法院的一次審查上。
— Rob Wiblin法案還會追溯廢掉多州AI安全立法
法案不僅收窄聯邦叫停權，還禁止各州要求AI公司公開安全計劃、接受獨立評估或報告事故，等於追溯廢掉加州、伊利諾伊、紐約已通過的旗艦AI法律。更隱蔽的一條是：州政府原本可以用「成文法、法規、法令、司法裁定或其他行動」叫停存在重大災難性風險的模型，按草案設計的方向，這項權力最終也會被拿走。結果是哪怕加州政府全體都認定某個未發布模型可能要了全州人的命，也無權立法或申請法院禁令叫停，只能寄望商務部長願意走那套流程。
— Rob WiblinOpenAI同一天下午同時開除三名安全研究員
Tomek Korbak、Mikita Balesni、Jasmine Wang在同一天下午2點的會議上分別被開除，理由各不相同且站不住腳，後來OpenAI改口說是更嚴重的「信任破裂」卻拒絕說明細節。據報道起因是一次洩密調查：有報道稱OpenAI新模型用了「循環transformer」技術，這是公司不想外界知道的。調查人員懷疑消息經由研究員與外部人士Ryan Greenblatt的Signal對話洩露，但兩人用的是閱後即焚消息，無法自證清白。循環transformer會讓模型在寫下思維鏈之前做更多隱藏計算，業內一直警告這是走向不可監控模型的苗頭，三人恰好此前都公開支持保持思維鏈可監控。
— Rob Wiblin開除三人的證據鏈其實相當薄弱
用閱後即焚聊天在科技圈和AI圈是常態，不能單憑這點定罪，否則全公司從CEO往下都可疑。披露這條新聞的The Information多年來一直能挖到AI公司內部消息，消息源可能來自投資人、前員工甚至飯局閒聊，未必是這三人。反對循環transformer的OpenAI員工可能有上百甚至兩百人——今年就有近400名員工聯署請願要求為安全放慢AI研發。主持人個人判斷Greenblatt洩密的可能性很低，這完全不符合他的行事風格。結論是：開除很可能是個錯誤，代價是公司以後更難得到員工坦誠意見，真正的洩密者也可能從此找不到了。
— Rob WiblinGoogle DeepMind合同裡的終身禁評條款
據BBC報道，Google DeepMind英國員工的僱傭合同規定，他們終身不得公開批評Google做的任何事——這條規定因前員工想批評Google向美國國防部出售AI（只要國防部自認定合法即可用）而浮出水面，該交易已讓不少員工憤而辭職。這讓人想起兩年前OpenAI被曝出的「不得詆譭」協議醜聞：員工離職批評公司就沒收其可能價值千萬美元的股權，且條款本身要求保密；曝光後OpenAI、Anthropic都被迫承認有類似條款並承諾取消。Google DeepMind這條雖沒有保密要求、罰則也不是沒收股權，但訴訟本身對普通人就是巨大威懾。
— Rob Wiblin想留下就在公開Slack頻道講理由，想走就公開辭職信
主持人給出漸進做法：想留下，就在同事能看到的公開Slack頻道里冷靜、理性地說明反對某個決定的具體理由，聚焦在最關鍵的幾件事上，不逢事必反，並願意被說服。如果合理異議始終得不到滿意答覆，可以升級為公開表示這讓你質疑公司的判斷和戰略、考慮離開；仍無效就遞交一份周全的辭職說明，離職後再公開陳述理由。他認為公司能自動化掉員工工作的速度越來越快，員工手裡的議價籌碼會隨時間縮水，所以「現在不發聲，更待何時」。
— Rob Wiblin「反私利」行動證明外部施壓確實能改變結果
針對OpenAI計劃架空非營利母公司和慈善宗旨的「Not For Private Gain」行動，參與者數量很少，但配合各州總檢察長關注和更廣泛聯盟施壓，最終迫使OpenAI大幅修改方案：OpenAI基金會多拿到了大約750億美元價值的股權，其安全與安全委員會還鎖定了對一系列安全議題的決策權。類似的還有2024年前員工發起的「預警權」行動，後來演變成加州SB 53裡的吹哨人保護條款；持續曝光OpenAI一邊公開支持監管一邊背後遊說阻撓的報道，也促成了OpenAI轉向支持SB 53一類監管，並讓總裁Greg Brockman停止了對遊說PAC「Leading the Future」的捐款。
— Rob Wiblin原話 · 已逐字校驗
Under their proposed bill, the only way the federal government could halt model training is for the Commerce Secretary to personally sign off on a detailed case and take it to a single federal court in DC.
按他們提議的法案，聯邦政府想叫停模型訓練，唯一的辦法是商務部長親自簽字、把詳細案子提交到華盛頓特區的一家聯邦法院。
Rob Wiblin1:34
a company whose CEO puts the chance of AI going “really, really badly” at 25%
這家公司的CEO自己說AI「出大亂子」的概率是25%
Rob Wiblin4:02
Anthropic’s approach ties California’s hands, it ties the hands of state attorneys general, and it ties the hands of state courts.
Anthropic這套做法捆住了加州的手腳，捆住了各州總檢察長的手腳，也捆住了州法院的手腳。
Rob Wiblin5:15
looped transformers increase the amount of computation a model can perform before writing down what it’s thinking on the chain of thought.
循環transformer會讓模型在把想法寫到思維鏈上之前，先做更多的計算。
Rob Wiblin8:58
Almost 400 OpenAI staff signed a petition earlier this year backing a push to slow AI down for safety reasons.
今年早些時候，近400名OpenAI員工聯署了一份請願書，支持出於安全原因放慢AI發展速度。
Rob Wiblin10:12
their UK employment contracts bar them from publicly criticising anything Google does, for the rest of their lives.
他們的英國僱傭合同規定，終身不得公開批評Google所做的任何事。
Rob Wiblin12:52
If we reach the end and you haven’t made a fuss about something, you’ve almost certainly left some possible positive impact on the table.
如果走到最後你什麼都沒鬧騰過，那你幾乎肯定是把本可以產生的正面影響白白放棄了。
Rob Wiblin19:56
The end result was the OpenAI Foundation got a stake worth perhaps $75 billion more than what originally seemed likely.
最終結果是，OpenAI基金會拿到的股權價值比原本預期多了大約750億美元。
Rob Wiblin21:39
數字與實體
| 法案規定的叫停令有效期 | 45天（到期須重新舉證） | 1:34 |
| Dario對AI「出大亂子」概率的估計 | 25% | 4:02 |
| 聯署要求放慢AI研發的OpenAI員工人數 | 近400人 | 10:12 |
| Anthropic紅隊測試中突破AI代理安全監控的複雜攻擊佔比 | 超過一半 | 15:46 |
| Anthropic與OpenAI各自提供給AI生物安全實驗室的算力額度 | 各1億英鎊 | 15:46 |
| OpenAI基金會因「反私利」行動多拿到的股權價值 | 約750億美元 | 21:39 |
| 聯署批評Google DeepMind的英國議員人數 | 60人 | 26:39 |
術語
- looped transformers循環transformer
- 讓模型在寫出思維鏈前做更多隱藏推理計算的架構技巧
- chain of thought思維鏈
- 模型給出答案前寫下的中間推理文字，是外部監控其意圖的窗口
- non-disparagement agreement不得詆譭協議
- 離職員工若公開批評公司就沒收其股權的保密條款
- federal preemption聯邦優先權
- 聯邦法律生效後，相應的州一級法律隨之失效或受限
- Not For Private Gain campaign「反私利」行動
- 阻止OpenAI架空非營利母公司、為其爭取更大股權和監督權的倡導行動
收聽指南
關注AI治理、公司博弈和吹哨人機制的創業者、政策研究者，以及AI公司內部正糾結該不該發聲的員工