世界太吵,来原声听播客

80,000 Hours

国会管住AI靠的不是多数票,而是下一次更严重的警示事件

民主党在中期选举大胜,但推翻总统对AI法案的否决仍需参议院67票绝对多数——真正可能撬动这个门槛的,很可能是比Hugging Face黑客事件更严重的下一次警示事件。

AI监管国会立法超级智能递归自我改进CAISSIAI安全

原视频在 YouTube 上放不出来,用音频听:

给出了国会在AI立法上能做什么、做不到什么的具体路线图,以及危机到来前该提前准备哪些政策工具,信息密度高。

核心论点 · 时间戳为按文稿位置估算

0:00

民主党中期选举大胜,AI是隐藏的第四五大推手

民主党拿下至少250个众议院席位、56个参议院席位,甚至拿下密西西比、南卡罗来纳、堪萨斯这些百年未胜之地,以及德州。AI虽不是前三大议题,但可能是第四或第五重要的选民反弹驱动力——这反映出政府政策和选民诉求之间存在巨大落差:67%的美国人认为AI发展太快,只有2%认为太慢,这个比例在两党选民中几乎一致。

— Rob Wiblin
1:29

60票能破冗长辩论,67票才压得过总统否决

通过一项AI法案需要参议院60票打破冗长辩论,这在跨党派支持下其实可行——四分之五美国人支持即使拖慢发展也要保留AI安全规则,霍利、肯尼迪、布莱克本等共和党参议员已是推动立法的领头人。但要压过总统的否决,需要参议院67票、众议院290票,以目前的关切水平很难达到,除非规则被稀释到失去意义。即便如此,国会仍有常识性措施、必须通过的拨款法案、人事确认程序、宣誓听证这四条绕行通道可以立即推进。

— Rob Wiblin
4:36

不让AI喘口气,更可能训出会伪装的超级智能

Rob认为,起码得在模型接近人类水平时放慢竞赛速度,给企业留出检验模型性格、复核工作、打磨对齐技术的喘息空间。没有这段时间,更可能出现表面对齐、实则能完全掩盖自己真实状态的超级智能机器,最终酿成彻底的灾难。企业自己也在恳求争取这段时间,但国会目前还没有凑够推翻否决所需的绝对多数票。METR上周刚发布的报告显示,到2027年就可能实现AI研发的完全自动化,这会让研究进度大幅提速。

— Rob Wiblin
5:48

真正改变立场的,可能是下一场更震撼的警示事件

Rob猜测,要改变特朗普的立场或凑够推翻否决所需的国会绝对多数,可能需要再来一次至少和Hugging Face黑客事件、Jacob Coxon辞职一样令人震惊的事件——轻则是另一起展示AI长期权力攫取倾向或中断日常服务的事故,重则是AI瘫痪关键基础设施、无法被完全关停的流氓AI,甚至AI引发的大流行病。他认为事件发生后的那几天几周将是AI政策最关键的窗口,现在就该有人提前准备好随时投入百小时工作周,把立法草案写好。

— Rob Wiblin
7:42

「禁止超级智能」会成为危机后最简单的政治口号

公众已经压倒性反对训练在所有领域全面碾压人类专家的超级智能机器,众参两院也已有相应法案提出。Rob提出一种具体实现方式:不直接限制训练,而是要求AI公司把一部分算力强制用于对外提供推理服务——把这个比例设到100%相当于暂停研究但不中断产品,之后可逐步降到70%左右,一旦再出现警示信号就调高,如同美联储调节利率一样灵活控制AI发展速度,而且对普通用户还能立刻降低推理价格。

— Rob Wiblin
9:17

只准用半年前的旧模型搞研发,卡住递归自我改进

Rob最看好的具体机制是禁止AI公司把最新模型用于内部研发——企业只能用至少六个月前完训、且已公开发布的模型做内部工作。公司没法抱怨这不可行,因为六个月前他们本来就是这么工作的。这条规则不会彻底叫停研究,但能显著拖慢速度,防止能力提升立刻被喂回递归自我改进循环,也给对齐测试多留出至少六个月的窗口。若六个月不够,这个延迟期限还能继续拉长到一年、十八个月乃至两年,逐步逼近对递归自我改进的全面禁止。

— Rob Wiblin
13:49

CAISSI预算只有英国对应机构的几十分之一

CAISSI是美国AI监管的核心机构,一年预算约1500万美元、员工只有几十人,而英国AI安全研究所仅技术人员就超过100人,预算是CAISSI的八倍,英国还追加了3亿英镑的四年拨款,外加数亿英镑投入生物安全、网络安全、流氓AI事故等新机构。按经济规模换算,英国在AI国家能力建设上的投入大约是美国的50倍。后果是一旦出现严重危机,美国政府可能得依赖英国的风险评估能力,因为自己根本没建起对应的机构能力。

— Rob Wiblin
16:38

危机法案不该借机抹掉各州已有的AI监管

Rob提醒一个陷阱:过去的预期是国会一旦出手立法就会大范围压制各州的AI监管权。但如果立法是在某次警示事件后仓促推出的紧急应对,这时各州很可能已经建立起有效运作的规则和监管机构,此时若顺带废除州法,实际效果反而是暂时放松监管,与立法初衷背道而驰。他认为紧急法案应默认保留州权,把联邦与州权限的协调留到危机过后再处理。

— Rob Wiblin

原话 · 已逐字校验

AI wasn’t a top-three issue in this election, but it was maybe the fourth or fifth most significant driver of the voter backlash.

AI不是这次选举里前三大的议题,但它可能是推动选民反弹的第四或第五大因素。

Rob Wiblin0:00

Four in five Americans want the government to keep AI safety rules even if it slows down development, including almost 80% of Republicans.

五分之四的美国人希望政府保留AI安全规则,哪怕这会拖慢发展,其中包括近80%的共和党人。

Rob Wiblin1:29

it seems more likely than not that we produce superintelligent machines that are misaligned but completely capable of hiding that fact — and that this, or some other screw-up, leads to total disaster.

我们更有可能造出未对齐、却能完全掩盖这一事实的超级智能机器——这个失误,或另一个失误,会导致彻底的灾难。

Rob Wiblin4:36

polling shows the US public is already overwhelmingly against the training of superintelligent machines — ones that totally dominate human experts in all domains.

民调显示美国公众已经压倒性地反对训练超级智能机器——那种在所有领域都全面碾压人类专家的机器。

Rob Wiblin7:42

for internal purposes, AI companies can only use models that finished training at least, say, six months ago, and which have already been released publicly.

出于内部用途,AI公司只能使用至少六个月前完成训练、且已经公开发布过的模型。

Rob Wiblin9:17

Data centres were directly on the ballot in 40-odd places in the midterms, and the anti side won all but one of those elections, often by a ratio of three to one.

数据中心议题在中期选举的四十多个地方被直接搬上选票,反对方几乎赢下所有这些选举,比例常常是三比一。

Rob Wiblin12:08

CAISSI runs on about $15 million a year with just a few dozen staff, while the UK’s AI Security Institute has over 100 technical staff alone, and about eight times the budget.

CAISSI一年运行经费约1500万美元,员工只有几十人,而英国的AI安全研究所仅技术人员就超过100人,预算大约是它的八倍。

Rob Wiblin13:49

数字与实体

众议院民主党席位至少250席0:00
参议院民主党席位56/100席0:00
认为AI发展太快的美国人占比67%1:29
认为AI发展太慢的美国人占比2%1:29
突破参议院冗长辩论所需票数60票1:29
推翻总统否决所需参议院票数67票1:29
推翻总统否决所需众议院票数290票1:29
CAISSI年预算约1500万美元13:49
英国AI安全研究所预算倍数约为CAISSI的8倍13:49
英国新增拨款3亿英镑(四年)13:49

术语

CAISSI美国超级智能创新与标准推进中心
被视为美国AI监管核心机构的政府部门
recursive self-improvement递归自我改进
AI利用自身能力加速改进下一代AI的过程
warning shot警示事件
足以震惊公众、推动政策转向的AI失控或滥用事件
pace the frontier控制前沿发展速度
通过协调或监管减缓最先进AI模型的研发速度
embedded bank supervisor model驻场银行监管员模式
监管者常驻机构内部实时监督,借鉴自银行业监管做法

收听指南

谁该听

适合关注AI监管立法进展的政策研究者、科技记者,以及想提前了解「危机后」AI政策工具箱的创业者和投资人。