世界太吵,來原聲聽播客

80,000 Hours

國會管住AI靠的不是多數票,而是下一次更嚴重的警示事件

民主黨在中期選舉大勝,但推翻總統對AI法案的否決仍需參議院67票絕對多數——真正可能撬動這個門檻的,很可能是比Hugging Face黑客事件更嚴重的下一次警示事件。

AI監管國會立法超級智能遞歸自我改進CAISSIAI安全

原視頻在 YouTube 上放不出來,用音頻聽:

給出了國會在AI立法上能做什麼、做不到什麼的具體路線圖,以及危機到來前該提前準備哪些政策工具,信息密度高。

核心論點 · 時間戳為按文稿位置估算

0:00

民主黨中期選舉大勝,AI是隱藏的第四五大推手

民主黨拿下至少250個眾議院席位、56個參議院席位,甚至拿下密西西比、南卡羅來納、堪薩斯這些百年未勝之地,以及德州。AI雖不是前三大議題,但可能是第四或第五重要的選民反彈驅動力——這反映出政府政策和選民訴求之間存在巨大落差:67%的美國人認為AI發展太快,只有2%認為太慢,這個比例在兩黨選民中幾乎一致。

— Rob Wiblin
1:29

60票能破冗長辯論,67票才壓得過總統否決

通過一項AI法案需要參議院60票打破冗長辯論,這在跨黨派支持下其實可行——四分之五美國人支持即使拖慢發展也要保留AI安全規則,霍利、肯尼迪、布萊克本等共和黨參議員已是推動立法的領頭人。但要壓過總統的否決,需要參議院67票、眾議院290票,以目前的關切水平很難達到,除非規則被稀釋到失去意義。即便如此,國會仍有常識性措施、必須通過的撥款法案、人事確認程序、宣誓聽證這四條繞行通道可以立即推進。

— Rob Wiblin
4:36

不讓AI喘口氣,更可能訓出會偽裝的超級智能

Rob認為,起碼得在模型接近人類水平時放慢競賽速度,給企業留出檢驗模型性格、複核工作、打磨對齊技術的喘息空間。沒有這段時間,更可能出現表面對齊、實則能完全掩蓋自己真實狀態的超級智能機器,最終釀成徹底的災難。企業自己也在懇求爭取這段時間,但國會目前還沒有湊夠推翻否決所需的絕對多數票。METR上週剛發布的報告顯示,到2027年就可能實現AI研發的完全自動化,這會讓研究進度大幅提速。

— Rob Wiblin
5:48

真正改變立場的,可能是下一場更震撼的警示事件

Rob猜測,要改變特朗普的立場或湊夠推翻否決所需的國會絕對多數,可能需要再來一次至少和Hugging Face黑客事件、Jacob Coxon辭職一樣令人震驚的事件——輕則是另一起展示AI長期權力攫取傾向或中斷日常服務的事故,重則是AI癱瘓關鍵基礎設施、無法被完全關停的流氓AI,甚至AI引發的大流行病。他認為事件發生後的那幾天幾週將是AI政策最關鍵的窗口,現在就該有人提前準備好隨時投入百小時工作周,把立法草案寫好。

— Rob Wiblin
7:42

「禁止超級智能」會成為危機後最簡單的政治口號

公眾已經壓倒性反對訓練在所有領域全面碾壓人類專家的超級智能機器,眾參兩院也已有相應法案提出。Rob提出一種具體實現方式:不直接限制訓練,而是要求AI公司把一部分算力強制用於對外提供推理服務——把這個比例設到100%相當於暫停研究但不中斷產品,之後可逐步降到70%左右,一旦再出現警示信號就調高,如同美聯儲調節利率一樣靈活控制AI發展速度,而且對普通用戶還能立刻降低推理價格。

— Rob Wiblin
9:17

只准用半年前的舊模型搞研發,卡住遞歸自我改進

Rob最看好的具體機制是禁止AI公司把最新模型用於內部研發——企業只能用至少六個月前完訓、且已公開發布的模型做內部工作。公司沒法抱怨這不可行,因為六個月前他們本來就是這麼工作的。這條規則不會徹底叫停研究,但能顯著拖慢速度,防止能力提升立刻被喂回遞歸自我改進循環,也給對齊測試多留出至少六個月的窗口。若六個月不夠,這個延遲期限還能繼續拉長到一年、十八個月乃至兩年,逐步逼近對遞歸自我改進的全面禁止。

— Rob Wiblin
13:49

CAISSI預算只有英國對應機構的幾十分之一

CAISSI是美國AI監管的核心機構,一年預算約1500萬美元、員工只有幾十人,而英國AI安全研究所僅技術人員就超過100人,預算是CAISSI的八倍,英國還追加了3億英鎊的四年撥款,外加數億英鎊投入生物安全、網絡安全、流氓AI事故等新機構。按經濟規模換算,英國在AI國家能力建設上的投入大約是美國的50倍。後果是一旦出現嚴重危機,美國政府可能得依賴英國的風險評估能力,因為自己根本沒建起對應的機構能力。

— Rob Wiblin
16:38

危機法案不該藉機抹掉各州已有的AI監管

Rob提醒一個陷阱:過去的預期是國會一旦出手立法就會大範圍壓制各州的AI監管權。但如果立法是在某次警示事件後倉促推出的緊急應對,這時各州很可能已經建立起有效運作的規則和監管機構,此時若順帶廢除州法,實際效果反而是暫時放鬆監管,與立法初衷背道而馳。他認為緊急法案應默認保留州權,把聯邦與州權限的協調留到危機過後再處理。

— Rob Wiblin

原話 · 已逐字校驗

AI wasn’t a top-three issue in this election, but it was maybe the fourth or fifth most significant driver of the voter backlash.

AI不是這次選舉裡前三大的議題,但它可能是推動選民反彈的第四或第五大因素。

Rob Wiblin0:00

Four in five Americans want the government to keep AI safety rules even if it slows down development, including almost 80% of Republicans.

五分之四的美國人希望政府保留AI安全規則,哪怕這會拖慢發展,其中包括近80%的共和黨人。

Rob Wiblin1:29

it seems more likely than not that we produce superintelligent machines that are misaligned but completely capable of hiding that fact — and that this, or some other screw-up, leads to total disaster.

我們更有可能造出未對齊、卻能完全掩蓋這一事實的超級智能機器——這個失誤,或另一個失誤,會導致徹底的災難。

Rob Wiblin4:36

polling shows the US public is already overwhelmingly against the training of superintelligent machines — ones that totally dominate human experts in all domains.

民調顯示美國公眾已經壓倒性地反對訓練超級智能機器——那種在所有領域都全面碾壓人類專家的機器。

Rob Wiblin7:42

for internal purposes, AI companies can only use models that finished training at least, say, six months ago, and which have already been released publicly.

出於內部用途,AI公司只能使用至少六個月前完成訓練、且已經公開發布過的模型。

Rob Wiblin9:17

Data centres were directly on the ballot in 40-odd places in the midterms, and the anti side won all but one of those elections, often by a ratio of three to one.

數據中心議題在中期選舉的四十多個地方被直接搬上選票,反對方几乎贏下所有這些選舉,比例常常是三比一。

Rob Wiblin12:08

CAISSI runs on about $15 million a year with just a few dozen staff, while the UK’s AI Security Institute has over 100 technical staff alone, and about eight times the budget.

CAISSI一年運行經費約1500萬美元,員工只有幾十人,而英國的AI安全研究所僅技術人員就超過100人,預算大約是它的八倍。

Rob Wiblin13:49

數字與實體

眾議院民主黨席位至少250席0:00
參議院民主黨席位56/100席0:00
認為AI發展太快的美國人佔比67%1:29
認為AI發展太慢的美國人佔比2%1:29
突破參議院冗長辯論所需票數60票1:29
推翻總統否決所需參議院票數67票1:29
推翻總統否決所需眾議院票數290票1:29
CAISSI年預算約1500萬美元13:49
英國AI安全研究所預算倍數約為CAISSI的8倍13:49
英國新增撥款3億英鎊(四年)13:49

術語

CAISSI美國超級智能創新與標準推進中心
被視為美國AI監管核心機構的政府部門
recursive self-improvement遞歸自我改進
AI利用自身能力加速改進下一代AI的過程
warning shot警示事件
足以震驚公眾、推動政策轉向的AI失控或濫用事件
pace the frontier控制前沿發展速度
通過協調或監管減緩最先進AI模型的研發速度
embedded bank supervisor model駐場銀行監管員模式
監管者常駐機構內部實時監督,借鑑自銀行業監管做法

收聽指南

誰該聽

適合關注AI監管立法進展的政策研究者、科技記者,以及想提前瞭解「危機後」AI政策工具箱的創業者和投資人。