喊出物种灭绝风险却只肯放慢发布节奏，这套说辞两头不讨好
如果真信AI有灭绝级风险，唯一自洽的应对是国有化管控，而不是自愿放慢发布节奏——现在这套说法让监管者和行业都不满意。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
'放慢节奏'的说辞两头不讨好
Dario那篇post的实质内容——更好的沙盒、更严格的测试——被认为相当合理，但配套的公关语境把它拖累了：同一天CEO在电视上说自己不反对「10%物种灭绝概率」的说法，让原本务实的安全提案看起来像是对灾难轻描淡写的辩护。「pacing」这个词本身也和安全无关——核武器造得慢一点也不会让人更安心——它更像是想同时安抚内部的「暂停派」和外部监管者，结果是两边都不买账，谁都觉得对方才是被讨好的那个。
真信灭绝风险，唯一自洽做法是国有化
如果实验室里真有一批最懂行的人相信这项技术存在灭绝级风险，按同样的逻辑推演，唯一说得通的应对不是自愿放慢发布节奏，而是把它纳入国有化管控，套上核武器级别的审批和监督体系。反过来，如果私下交流里大多数人其实并不真信这个概率，那么公开表态里的灭绝风险更像是一种招聘和留人的姿态——为了在人才市场上显得足够严肃而营造的说法，本质是公司内部的HR问题，不该成为拖累整个行业的国家级监管借口。
— Martin Casado关键基础设施最终都走向准国有化
二战后，电力、银行、医疗这些被认定为关键基础设施的行业，长期趋势都是逐渐被纳入国有化或准国有化监管；即便AT&T、IBM这种含着政府订单出生的公司，也没能逃过反垄断诉讼和结构性拆分。对AI而言，FINRA式的「行业出钱、联邦立法主导」的混合监管，被认为是眼下能想到的相对最好结局——但这仍然不利于开放模型和前沿创新，只是各种矛盾选项里相对能接受的一个，而不是理想答案。
互联网当年更危险，却没被提前叫停
2001年之前，一台PC只要联网就几乎必然中毒；蠕虫瘫痪过互联网基础设施，医院系统因此宕机，经济损失早就以百亿美元计。按当时的舆论氛围，94年前后完全有可能把互联网整个叫停。但结果是行业在一次次真实事故里逐步补上安全机制，而不是靠提前立法解决问题。这段历史被拿来对照AI监管的核心难点：现在大家是在预测「会出什么坏事」，而不是像过去那样对着已经发生的具体事故写政策——这本身就不是监管擅长的模式。
Agent 群体让内部系统第一次真正暴露
过去的信息安全某种程度上是靠「95%到99%的人会做对的事」撑起来的，内部的GitHub、Slack、报销系统很少被当成需要防拒绝服务攻击的对象。但AI agent swarm是成千上万个不知疲倦的东西，会不断尝试各种操作，还会把一个正常任务误判成越界任务、也会反过来误判，大规模并发访问天然就长得像一次DoS攻击。这意味着企业需要一整层此前不存在的内部监控——追踪每一次鉴权、每一次API调用——而现有的操作系统权限模型，要么每次都问用户、要么直接放权删光整个文件系统，根本没为这种颗粒度设计过。
最担心欧洲把AI监管做成弹窗剧场
最担心的走向不是重罚，而是变成GDPR式的合规剧场：agent每做一次「写」操作或调用第三方服务，就弹出一句类似「这个供应商给出的内容可能是错的，是否继续」的提示。这套模式监管者会很喜欢，因为它把责任明确甩给了用户，形成「我已提醒」的法律证据链——就像UAC弹窗、Word宏警告、Cookie同意栏最终都沦为人人无脑点掉的东西。而美国大约十五年前就已经放弃在科技反垄断上领跑，欧洲在这件事上「没什么可失去的」，所以更可能是欧洲率先把这套弹窗式监管做成AI的标准答案。
汽车、飞机监管都滞后几十年才成型
《Unsafe at Any Speed》在福特T型车问世大约六十年后才出现；FAA真正拥有实质监管权是在二战之后，离莱特兄弟首飞已经过去四十年，中间隔着的是最疯狂的航空创新期；沙利度胺事件推动FDA强化监管，是在事件发生五十到七十五年后。援引一档Nick Bostrom播客的说法：如果在还没搞懂一项技术会怎样失灵之前就急着监管，其实什么问题都没解决——你只是把这个东西强行催生出来，却还没学会怎么控制它。
模型不再生成文本，只挑一个选项
过去几年大家一直试图把「生成文本」的大模型硬塞进传统程序里去驱动if语句，效果一直很别扭。新的做法反过来：模型照样读文本、理解上下文，但不再生成昂贵的文本，而是直接从给定的选项里挑出一个并给出概率，直接对接传统软件里的概率化if语句——这其实是让上世纪六七十年代那套「概率化编程」的老研究重新有了用武之地。这被认为是ChatGPT之后普及最快的模型形态，也说明模型之外的应用层，才是眼下AI创新真正在发生的地方。
原话 · 已逐字校验
If you regulate AI too early, you actually don't solve anything. You still just kind of have the same risk ultimately. You will the thing into being, but you haven't figured out how to control it.
如果你把AI监管得太早，其实什么问题都没解决。你最终还是承担同样的风险，只是把这个东西强行催生出来，却还没搞清楚怎么控制它。
Agent swarms completely flip that. These are just roaming drones. But like 5,000 to 10,000 and they will easily mistake a good task for a bad one.
Agent群体彻底颠覆了这一点。它们就是到处游走的无人机，规模可能是五千到一万个，而且很容易把一个正常任务误判成一个越界任务。
The US about 15 years ago stopped leading in tech antitrust. The problem is that Europe is going to lead with that because they have nothing to lose.
美国大约十五年前就不再在科技反垄断上领跑了。问题是欧洲会在这方面领跑，因为他们没什么可失去的。
This could change the nature of software fundamentally. The center of innovation has just moved.
这可能会从根本上改变软件的本质。创新的中心已经转移了。
An employee has like 10% chance of species extinction. The post is very reasonable, but the atmospherics are not.
一个员工说这东西大概有10%的物种灭绝概率。那篇post本身写得很合理，但配套的舆论氛围不合理。
So if a constituency within the labs that are the most knowledgeable people believe this stuff has existential risk, the answer is to nationalize it and actually put controls that we know that work, right?
如果实验室里最懂行的那批人真的相信这东西有存在性风险，那答案就是把它国有化，套上我们知道确实有效的管控措施，对吧？
Martin Casado6:10
So, remember the old CRT? So, it turns out, like, let's say it's night and you're using a CRT terminal in your room. The lightest thing in the room is actually the pixel that the raster beam is on.
还记得老式CRT显示器吗？结果发现，比如说晚上你在房间里用CRT终端，房间里最亮的东西其实是那一刻电子束扫描到的那个像素点。
And so this has probably been the fastest adoption of an AI model since chat GPT. It's just been remarkable because we're all primed for this.
所以这大概是ChatGPT以来采用速度最快的一个AI模型。之所以这么惊人，是因为大家都已经为此做好了准备。
数字与实体
| Dario post中提到的灭绝风险概率 | 约10% | 4:08 |
| Agent swarm 讨论中提到的规模 | 5000到10000个 | 0:00 |
| 计算机欺诈与滥用法签署年份 | 1986年 | 25:26 |
| 该法案从事件发生到通过所耗时间 | 两年半 | 25:26 |
| PC联网即大概率中毒的时间分界 | 2001年之前 | 24:25 |
术语
- pacing放慢节奏
- Anthropic自创说法，指主动放慢发布节奏而非彻底暂停研发
- X-risk存在性风险
- 可能导致人类灭绝或文明彻底崩溃级别的风险
- FINRA美国金融业监管局
- 行业出资、联邦授权监督的混合型自律监管机构
- tempest attack电磁侧信道窃听攻击
- 利用设备泄漏的电磁辐射远程还原屏幕或键盘内容
- covert channel隐蔽信道
- 借助热量、电磁、像素亮度等物理副作用秘密传递信息的通道
收听指南
关注AI政策与企业安全的创始人、投资人和安全工程师，想理解监管辩论背后的逻辑链条而不只是新闻标题。
8:12-18:19 关于'pacing'一词语义拉锯反复绕圈，观点在此前已经说清，可以跳过。