世界太吵,来原声听播客

80,000 Hours

中美AI协议靠的不是互信,而是总统感到自己可能被炸死的那一刻

他预判会出现一次足够严重的AI事故,让总统本人感到性命堪忧——那一刻美国才会单边暂停训练,并靠切断电缆、网络攻击之类的威胁逼中国同步收手。

中美AI博弈AI安全军控核查OpenAI内幕scaling law地缘政治

原视频在 YouTube 上放不出来,用音频听:

后半段信息密度最高:OpenAI的失信细节、美国实验室被渗透的机制、AI对齐进展为何可能反而摧毁互信,都是少见的角度,建议听完全程。

核心论点 · 时间戳为按文稿位置估算

5:50

实验室内部的恐慌比外界早两年

2023年,Gladstone AI团队在一家顶尖实验室访谈后,一位员工把Harris拉到一边,手抖着递过手机让他留电话号码。那人后来私下见面时说的是:不管你们报告最终建议是什么,请更激进一点——他谈的是把顶尖实验室国有化。这发生在ChatGPT引爆公众讨论的整整一年前,说明实验室内部对失控风险的恐慌,比外界舆论的觉醒早了至少两年。

— Jeremie Harris
9:10

怀疑规模化撞墙的人六年来一直错

Harris从2020年就押注scaling paper的结论:算力每跨一个数量级,模型能力几乎线性变强,这条曲线跨越了七个数量级都没有弯折。此后数据墙、算力墙、能源墙、「随机鹦鹉」论等反对意见轮番登场,但都没能兑现。他承认自己也曾押错方向——原以为人类早该因AI出事而完蛋——但对「scaling会撞墙」这件事,看空的人至今没赢过一次,连Anthropic利润率冲上70%的SaaS区间都印证了这一点。

— Jeremie Harris
24:00

刻意不提AGI一词其实是个错误

2020年代初,掌握AI安全生态核心资金的Open Philanthropy圈子认为,只要让美国政府官员听到「人类级AI」和「失控」这些词,对方只会记住「厉害的武器」,然后发起一场曼哈顿计划式的狂飙,死得更快——所以他们劝Harris团队不要用「AGI」这个词去游说政府。Harris团队没听,直接去测试这个假设,结果发现政府官员的本能判断其实和公众一样,是对的。这段历史意味着,那几年的刻意沉默并没有保护世界,只是延迟了本该更早开始的辩论。

— Jeremie Harris
49:37

对齐预算承诺,Altman从未兑现

Sam Altman曾公开承诺,把OpenAI 20%的算力投入所谓「超级对齐」研究,去解决如何控制一个远比人类聪明的系统这个问题。他没有兑现,随后他的安全负责人直接跳槽去了Anthropic。此后OpenAI的安全和政策团队被换了一茬又一茬——Harris说,如果曼哈顿计划时期的洛斯阿拉莫斯像这样连续换掉三套安全团队,严重到足以让实验室领导层下台。而这正是他认为Altman动机可疑、不该被信任的核心证据。

— Jeremie Harris
55:45

内部路线图指向2027年自动科研

据Harris与多家前沿实验室人员的私下交流,OpenAI内部有一份路线图,目标是在2028年实现自动化AI研究员——也就是AI能自己做AI研究、推动递归式自我改进。Sam Altman最近对2027年的进展相当乐观,这意味着如果进度提前,这个节点可能提早一年到来。Harris还透露,Anthropic手里压着的未发布模型,可能比外界看到的最新版本还领先大约两代,说明公开讨论严重低估了实验室内部对「我们有多近」的判断。

— Jeremie Harris
1:35:23

没有核查技术,只能先划粗红线

核武器军控花了几十年才建立起可信的核查技术体系,AI领域现在什么都没有——没人能靠卫星看一眼数据中心就判断它在训练什么规模的模型。所以Harris设想中美真正达成协议的第一步会非常粗糙:卫星热成像看到超过某个规模(他举例500兆瓦)的算力集群在跑训练,就触发报复,而且美国会刻意保持战略模糊,不说清楚报复手段是切断海底电缆还是网络攻击。精细化的零知识证明式核查技术要等后面才能跟上。

— Jeremie Harris
2:00:14

对齐越成功,中国越可能疑美毁约

这是整期节目里最反直觉的一点:对齐技术的进展通常被当作纯粹的好消息,但Harris指出,中国愿意配合减速协议,部分前提恰恰是相信「失控」风险真实且巨大。如果某一方看起来把控制问题解决了一部分,把风险从假设的80%降到20%,中国反而更有理由怀疑美国只是想拖住自己,等风险降到可控水平后单方面抢跑冲向超级智能。换句话说,谁先在对齐上取得进展,谁就可能先破坏协议赖以存在的互信基础。

— Jeremie Harris
2:04:11

实验室核心机密接触者过半是中国籍

Harris称,在他们接触过的OpenAI某些团队里,能接触到最敏感算法机密的人员中,有中国籍背景、因而受中国政府可施压关系网络约束的比例,经常超过50%——这些人需要定期向中国驻外领事机构报备,家人可能因此被拿捏(比如断药、限制经商)。再加上数据供应链和数据中心硬件采购上同样存在的渗透,Harris认为中国目前对美国实验室内部状况的了解,远比美国能通过网络攻击反向获取的中国情报要深。

— Jeremie Harris

原话 · 已逐字校验

Whatever your recommendations in this report are going to be, I would urge you to please be more ambitious.

不管你们这份报告最终的建议是什么,我都想敦促你们,请更激进一些。

Jeremie Harris5:50

there is still somehow alpha in just taking scaling seriously

持续认真对待scaling这件事,依然能让你获得超额认知收益。

Jeremie Harris9:10

I would define superintelligence as that thing which, if you build it, you fucking die.

我对超级智能的定义就是:一旦你把它造出来,你他妈的就会死。

Jeremie Harris42:42

And he just didn’t do it, right? And then he lost his head of safety to Anthropic over that.

而且他压根没做到,对吧?然后他因为这件事,把自己的安全负责人弄丢给了Anthropic。

Jeremie Harris49:37

I invite you to just increase the waterline another 10x. Keep doing that until you get to the point where the president feels this way and Congress feels this way.

我邀请你把水位线再抬高十倍。一直这样做,直到总统本人和国会都产生这种切身的危机感为止。

Jeremie Harris1:17:42

how low does that percentage have to go before they start to suspect America might just renege on this agreement, suddenly try to make a break for it?

这个风险百分比要降到多低,他们才会开始怀疑美国可能撕毁协议,突然单方面抢跑?

Jeremie Harris2:00:14

China is in our bones in a way that we are not in their bones.

中国已经渗透进了我们的骨子里,而我们远没能做到同样的程度。

Jeremie Harris2:08:28

数字与实体

首篇scaling laws论文验证范围跨越七个数量级的算力19:57
Anthropic当前利润率约70%(SaaS级别)17:01
Meta当前融资/借贷成本超过5%,未来几年或冲击8%57:11
OpenAI内部路线图:自动化AI研究员实现时间官方目标2028年,若提前则2027年55:45
设想中触发美方反制的算力集群阈值超过500兆瓦1:35:23
某些OpenAI团队中能接触核心算法机密的中国籍人员占比超过50%2:06:00
据称已流入中国的先进AI芯片数量数十万枚1:58:12

术语

scaling laws标度律(规模法则)
模型能力随算力和数据量增长呈现可预测提升的规律
superalignment超级对齐
让远比人类聪明的AI系统仍然可控、服从人类意图的研究方向
AI ChernobylAI切尔诺贝利事件
Harris提出的概念:严重到足以让美国政府彻底改变AI政策立场的事故
track 1.5 / track 2 dialogue1.5轨/2轨对话
政府与民间智库混合、或纯民间之间的非正式外交沟通渠道
MAIM (Mutual Assured AI Malfunction)相互确保AI失灵
类比「相互确保摧毁」提出的中美AI威慑框架
subthreshold warfare阈下对抗
大国之间在不触发全面战争前提下持续进行的破坏、网攻等暗中较量

收听指南

谁该听

适合关注中美AI地缘博弈、AI军控与核查技术、以及想了解OpenAI、Anthropic内部真实权力斗争的政策研究者、投资人和从业者。

可跳过

开场0:00-2:53是节目互相介绍和新书推广,10:48-13:57讲Harris早年创业公司背景,信息密度低,可跳过。