Astra 跨过 AGI 门槛,但没人能审计它
Astra 让人类再也不用做某些任务,OpenAI 却只暂停了一半 RL 算力;外部审计被卡死在发布前两三天,房间里没有大人可以接锅。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 时间戳为按文稿位置估算
Astra 靠一个笔记文件撑住长任务
过去模型处理长任务是把百万 token 压缩成摘要、开新窗口,细节全丢。Astra 改成维护一个长期存活的 notes 文件,模型随时更新,跟着它往前走,不管已经写下多少 token,还能回头搜索自己的会话历史。于是同样的百万 token 上下文窗口,在单次 rollout 里能有效管理大约十倍于此的上下文。Nathan 说这是「事后看很明显、但确实是新的」机制。
— Nathan LabenzOpenAI 自报每个工作日 3.1 个 agent 工作日
OpenAI 在研究加速的博文里给出自己的度量单位「agent workday」,报告每个 human workday 对应 3.1 个 agent workday。Nathan 承认方法论不清楚,他的解读是字面意思:人类研究员每上八小时班,agent 就实时跑了二十四小时。同一篇博文里还有一张按人类耗时分组、看 Astra 成功率的图,相当于 METR 曲线的替代品。Nathan 说 METR 那张曲线长期没更新,不是不想更新,是任务不够大了——模型迭代周期已经短于需要测量的任务长度。
— Nathan Labenz外部审计被结构性地卡死在两三天
Prakash 拆解为什么外部审计做不起来:模型生命周期里有一百个候选,最后两三天才定下发布版本,所以外部审计只能拿到几天。把审计团队请进公司提前一个月看,又撞上第二层问题——审计机构人少钱少,依赖模型公司资助,人员还不断流向模型公司;两家公司若约定互不挖审计机构的人,又构成反垄断问题。他说金融业监管的旋转门问题至今也没解决。
— Prakash Narayanan宣布的是暂停,实际只停了一半
Nathan 读 OpenAI 那张 RL 算力图:宣布的是「frontier scale RL 暂停」,实际是 Hugging Face 事件披露时先停了一半,另一半继续跑,而这一半已经足够让 Astra 模型接管 OpenAI 部分研究基础设施;即便如此也没有全停,只砍了一半。剩下蓝色那类标着「non Astra」的算力里到底有没有比 Astra 更强的模型,他说不知道,但「I've been disappointed before」。Prakash 补了一句:真正的前沿模型不是已部署的,也不是正在训练的,而是研究员脑子里的那个,因为那些想法会在十二到十八个月后变成模型。
— Nathan Labenz房间里没有大人可以接锅
Prakash 对 Jacob Coxen 那句「接受这场竞赛并进入终局,是从一家私营公司的 Slack 里发起的傲慢赌博」的反驳是:那你想把它交给谁?Pete Hegseth 的 Signal 群?他的判断是「房间里没有大人」——没有外部救世主,全世界都是拿胶带粘起来的,最聪明、最有能力处理这件事的人大多已经在这几家公司里。把决定权交给政府,你换来的是政治合法性,不是智慧,也不是执行所需的合法性。所以起点必须是先接受世界就是这个样子。
— Prakash NarayananOperation Warp Speed 是安全港的先例
Nathan 提出政府该像管孩子一样设死线:你们自己搞定,这是截止日期,搞不定我就进来当坏人。配套动作是先把反垄断这个借口拿掉。Prakash 用 Operation Warp Speed 反驳:药企当时专门要求豁免疫苗索赔、要一个 safe harbor,并且真的拿到了立法;如果没有这个豁免,疫情后它们会被诉讼告到破产。所以律师警告「未来会被追溯清算」不是杞人忧天——现在所有决策者都同意也没用,因为约束未来决策者的只有法律,不是今天这些人的口头承诺。
— Prakash NarayananFSD 的错在于把人放进回路
Raffi 撞过用 FSD 的 Tesla。他的判断是 FSD 的接口设计糟糕,因为它声称 human in the loop,实际把控制权丢给用户时根本没给够时间理解情况并决定该做什么;Waymo 的设计前提就是没有人类可以接手,所以安全论证完全不同。他个人愿意在高速上再开 FSD 或至少坐在方向盘后面,但在 Palo Alto 的本地街道上会比较犹豫。同一家公司里还有两种代码契约:Firefox 团队只有人类能 commit,Mozilla AI 团队则有整个人类一行没写过的代码库,人只写 spec,CI 构建时自动重新生成整个代码库。
— Raffi Krikorian接管已经完成,只是没人承认
Prakash 与 Daniel 的关键分歧:Daniel 没意识到这件事已经发生了。金融市场本身就是 paper clipper,生产资料就是金融市场,而金融市场已经完全与 AI 结合。人类用大约一百年把生产资料的控制权完全交给金融市场。他说不要把 AI 想成聊天框,它是一个全球信息过程,不必跑在单个盒子里,甚至不必以硅为基底——人可以和 AI agent 一起构成这个信息过程。Jacob 之所以幻灭,是因为他在 Slack 群里发现根本没有控制权,却仍假设世界上存在某个能真正做决定的群。
— Prakash Narayanan原话 · 已逐字校验
People are gonna use this thing. Token spend is is gonna increase dramatically. I think a lot of people are gonna be using it all the time. It is it is AGI. It is that kind of cleared the hurdle of AGI. It will do things better than most people you can hire and train.
人们会用这个东西。token 支出会大幅上升。我认为很多人会一直用它。它就是 AGI。它算是跨过了 AGI 那道坎。它做很多事会比你能招到、能培训的大多数人做得更好。
Prakash Narayanan0:08
This is a task that a human being will never do again. Like, there there just isn't any any point. You you can't even pay someone to do it because if you paid someone to do it, they would use Astra to do it and then, like, pass you back the results.
这是一个人类再也不会去做的任务。根本没有任何意义。你甚至没法付钱让人做,因为如果你付钱让人做,他们会用 Astra 去做,然后把结果交回给你。
Prakash Narayanan2:00
And then the reality is, like, quite different from what you were led to believe by their, like, very galaxy brain engineered statements that sort of reassure and mislead at the same time.
而现实与那些极其「银河大脑」式精心设计的声明让你相信的东西相当不同——那些声明同时起到安抚和误导的作用。
Nathan Labenz32:28
The real frontier model is not the model which is deployed, obviously. It's not the model which is in training also. It's actually the model which is in the heads of the researchers because those are the ideas that will become the model in, you know, twelve to eighteen months.
真正的前沿模型显然不是已部署的那个,也不是正在训练的那个。它其实是研究员脑子里的那个模型,因为那些想法会在十二到十八个月后变成模型。
Prakash Narayanan33:18
there is no adult in the room. There's no one that's gonna save you. There there's no adult somewhere else that you can pass off responsibility to.
房间里没有大人。没有人会来救你。不存在某个别处的大人,让你可以把责任推过去。
Prakash Narayanan39:05
only the laws bind decision makers in the future. Decision makers right now, whatever they say, they bound by their word at best.
未来约束决策者的只有法律。现在的决策者,不管他们说什么,最多只受自己的话约束。
Prakash Narayanan46:03
the AIs don't have to take power Yeah. Because we are very eagerly giving it to them.
AI 不必夺取权力。因为我们非常急切地把权力交给它们。
Nathan Labenz1:26:46
The economy in itself is a paper clipper. The financial market is a paper clipper. The means of production is the financial market.
经济本身就是一台回形针制造机。金融市场就是一台回形针制造机。生产资料就是金融市场。
Prakash Narayanan1:29:15
数字与实体
| OpenAI agent workday 与 human workday 之比 | 3.1 | 6:19 |
| Astra 在 1-2 个工作日任务上的零干预成功率 | 40% | 7:05 |
| Astra 在 1.5-3 周任务上允许人工干预的成功率 | 三分之二 | 7:05 |
| Apollo Research 测试 Astra 的时间 | 3 天 | 20:05 |
| 2040 年 Dyson 球对应的全球 GDP 年增速 | 约 640% | 49:07 |
| 当前全球 GDP 增速 | 约 2%–3% | 49:07 |
| 人类交出生产资料控制权所用时间 | 约一百年 | 1:29:15 |
| Nathan 对 AI 灾难概率的评估 | 10% 听起来并不高 | 1:36:00 |
术语
- agent workday智能体工作日
- OpenAI 自报的度量单位,一个人类工作日对应 3.1 个 agent 工作日。
- METRMETR
- 长期追踪 AI 能完成多长任务的机构,其小时数曲线已停更。
- paper clipper回形针制造机
- 思想实验里把一切资源都转化为回形针的失控优化过程。
- safe harbor安全港
- 法律上免除特定行为责任的条款,Operation Warp Speed 中药企曾争取到。
- Dyson sphere戴森球
- 包裹恒星以获取其全部能量的巨型结构,此处指极端能源增长目标。
收听指南
关注 AI 安全、模型能力评估与治理机制的创业者和投资人;想了解 Astra 实际能力边界、OpenAI 暂停声明真实幅度、以及外部审计为何做不起来的人。
1:00:40 到 1:07:55 的 FSD 驾驶体验和 Snorbl 内容制作成本部分,与主线关联较弱。