Astra 跨過 AGI 門檻,但沒人能審計它
Astra 讓人類再也不用做某些任務,OpenAI 卻只暫停了一半 RL 算力;外部審計被卡死在發布前兩三天,房間裡沒有大人可以接鍋。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
Astra 靠一個筆記文件撐住長任務
過去模型處理長任務是把百萬 token 壓縮成摘要、開新窗口,細節全丟。Astra 改成維護一個長期存活的 notes 文件,模型隨時更新,跟著它往前走,不管已經寫下多少 token,還能回頭搜索自己的會話歷史。於是同樣的百萬 token 上下文窗口,在單次 rollout 裡能有效管理大約十倍於此的上下文。Nathan 說這是「事後看很明顯、但確實是新的」機制。
— Nathan LabenzOpenAI 自報每個工作日 3.1 個 agent 工作日
OpenAI 在研究加速的博文裡給出自己的度量單位「agent workday」,報告每個 human workday 對應 3.1 個 agent workday。Nathan 承認方法論不清楚,他的解讀是字面意思:人類研究員每上八小時班,agent 就實時跑了二十四小時。同一篇博文裡還有一張按人類耗時分組、看 Astra 成功率的圖,相當於 METR 曲線的替代品。Nathan 說 METR 那張曲線長期沒更新,不是不想更新,是任務不夠大了——模型迭代週期已經短於需要測量的任務長度。
— Nathan Labenz外部審計被結構性地卡死在兩三天
Prakash 拆解為什麼外部審計做不起來:模型生命週期裡有一百個候選,最後兩三天才定下發布版本,所以外部審計只能拿到幾天。把審計團隊請進公司提前一個月看,又撞上第二層問題——審計機構人少錢少,依賴模型公司資助,人員還不斷流向模型公司;兩家公司若約定互不挖審計機構的人,又構成反壟斷問題。他說金融業監管的旋轉門問題至今也沒解決。
— Prakash Narayanan宣布的是暫停,實際只停了一半
Nathan 讀 OpenAI 那張 RL 算力圖:宣布的是「frontier scale RL 暫停」,實際是 Hugging Face 事件披露時先停了一半,另一半繼續跑,而這一半已經足夠讓 Astra 模型接管 OpenAI 部分研究基礎設施;即便如此也沒有全停,只砍了一半。剩下藍色那類標著「non Astra」的算力裡到底有沒有比 Astra 更強的模型,他說不知道,但「I've been disappointed before」。Prakash 補了一句:真正的前沿模型不是已部署的,也不是正在訓練的,而是研究員腦子裡的那個,因為那些想法會在十二到十八個月後變成模型。
— Nathan Labenz房間裡沒有大人可以接鍋
Prakash 對 Jacob Coxen 那句「接受這場競賽並進入終局,是從一傢俬營公司的 Slack 裡發起的傲慢賭博」的反駁是:那你想把它交給誰?Pete Hegseth 的 Signal 群?他的判斷是「房間裡沒有大人」——沒有外部救世主,全世界都是拿膠帶粘起來的,最聰明、最有能力處理這件事的人大多已經在這幾家公司裡。把決定權交給政府,你換來的是政治合法性,不是智慧,也不是執行所需的合法性。所以起點必須是先接受世界就是這個樣子。
— Prakash NarayananOperation Warp Speed 是安全港的先例
Nathan 提出政府該像管孩子一樣設死線:你們自己搞定,這是截止日期,搞不定我就進來當壞人。配套動作是先把反壟斷這個藉口拿掉。Prakash 用 Operation Warp Speed 反駁:藥企當時專門要求豁免疫苗索賠、要一個 safe harbor,並且真的拿到了立法;如果沒有這個豁免,疫情後它們會被訴訟告到破產。所以律師警告「未來會被追溯清算」不是杞人憂天——現在所有決策者都同意也沒用,因為約束未來決策者的只有法律,不是今天這些人的口頭承諾。
— Prakash NarayananFSD 的錯在於把人放進迴路
Raffi 撞過用 FSD 的 Tesla。他的判斷是 FSD 的接口設計糟糕,因為它聲稱 human in the loop,實際把控制權丟給用戶時根本沒給夠時間理解情況並決定該做什麼;Waymo 的設計前提就是沒有人類可以接手,所以安全論證完全不同。他個人願意在高速上再開 FSD 或至少坐在方向盤後面,但在 Palo Alto 的本地街道上會比較猶豫。同一家公司裡還有兩種代碼契約:Firefox 團隊只有人類能 commit,Mozilla AI 團隊則有整個人類一行沒寫過的代碼庫,人只寫 spec,CI 構建時自動重新生成整個代碼庫。
— Raffi Krikorian接管已經完成,只是沒人承認
Prakash 與 Daniel 的關鍵分歧:Daniel 沒意識到這件事已經發生了。金融市場本身就是 paper clipper,生產資料就是金融市場,而金融市場已經完全與 AI 結合。人類用大約一百年把生產資料的控制權完全交給金融市場。他說不要把 AI 想成聊天框,它是一個全球信息過程,不必跑在單個盒子裡,甚至不必以硅為基底——人可以和 AI agent 一起構成這個信息過程。Jacob 之所以幻滅,是因為他在 Slack 群裡發現根本沒有控制權,卻仍假設世界上存在某個能真正做決定的群。
— Prakash Narayanan原話 · 已逐字校驗
People are gonna use this thing. Token spend is is gonna increase dramatically. I think a lot of people are gonna be using it all the time. It is it is AGI. It is that kind of cleared the hurdle of AGI. It will do things better than most people you can hire and train.
人們會用這個東西。token 支出會大幅上升。我認為很多人會一直用它。它就是 AGI。它算是跨過了 AGI 那道坎。它做很多事會比你能招到、能培訓的大多數人做得更好。
Prakash Narayanan0:08
This is a task that a human being will never do again. Like, there there just isn't any any point. You you can't even pay someone to do it because if you paid someone to do it, they would use Astra to do it and then, like, pass you back the results.
這是一個人類再也不會去做的任務。根本沒有任何意義。你甚至沒法付錢讓人做,因為如果你付錢讓人做,他們會用 Astra 去做,然後把結果交回給你。
Prakash Narayanan2:00
And then the reality is, like, quite different from what you were led to believe by their, like, very galaxy brain engineered statements that sort of reassure and mislead at the same time.
而現實與那些極其「銀河大腦」式精心設計的聲明讓你相信的東西相當不同——那些聲明同時起到安撫和誤導的作用。
Nathan Labenz32:28
The real frontier model is not the model which is deployed, obviously. It's not the model which is in training also. It's actually the model which is in the heads of the researchers because those are the ideas that will become the model in, you know, twelve to eighteen months.
真正的前沿模型顯然不是已部署的那個,也不是正在訓練的那個。它其實是研究員腦子裡的那個模型,因為那些想法會在十二到十八個月後變成模型。
Prakash Narayanan33:18
there is no adult in the room. There's no one that's gonna save you. There there's no adult somewhere else that you can pass off responsibility to.
房間裡沒有大人。沒有人會來救你。不存在某個別處的大人,讓你可以把責任推過去。
Prakash Narayanan39:05
only the laws bind decision makers in the future. Decision makers right now, whatever they say, they bound by their word at best.
未來約束決策者的只有法律。現在的決策者,不管他們說什麼,最多隻受自己的話約束。
Prakash Narayanan46:03
the AIs don't have to take power Yeah. Because we are very eagerly giving it to them.
AI 不必奪取權力。因為我們非常急切地把權力交給它們。
Nathan Labenz1:26:46
The economy in itself is a paper clipper. The financial market is a paper clipper. The means of production is the financial market.
經濟本身就是一臺回形針製造機。金融市場就是一臺回形針製造機。生產資料就是金融市場。
Prakash Narayanan1:29:15
數字與實體
| OpenAI agent workday 與 human workday 之比 | 3.1 | 6:19 |
| Astra 在 1-2 個工作日任務上的零干預成功率 | 40% | 7:05 |
| Astra 在 1.5-3 周任務上允許人工干預的成功率 | 三分之二 | 7:05 |
| Apollo Research 測試 Astra 的時間 | 3 天 | 20:05 |
| 2040 年 Dyson 球對應的全球 GDP 年增速 | 約 640% | 49:07 |
| 當前全球 GDP 增速 | 約 2%–3% | 49:07 |
| 人類交出生產資料控制權所用時間 | 約一百年 | 1:29:15 |
| Nathan 對 AI 災難概率的評估 | 10% 聽起來並不高 | 1:36:00 |
術語
- agent workday智能體工作日
- OpenAI 自報的度量單位,一個人類工作日對應 3.1 個 agent 工作日。
- METRMETR
- 長期追蹤 AI 能完成多長任務的機構,其小時數曲線已停更。
- paper clipper回形針製造機
- 思想實驗裡把一切資源都轉化為回形針的失控優化過程。
- safe harbor安全港
- 法律上免除特定行為責任的條款,Operation Warp Speed 中藥企曾爭取到。
- Dyson sphere戴森球
- 包裹恆星以獲取其全部能量的巨型結構,此處指極端能源增長目標。
收聽指南
關注 AI 安全、模型能力評估與治理機制的創業者和投資人;想了解 Astra 實際能力邊界、OpenAI 暫停聲明真實幅度、以及外部審計為何做不起來的人。
1:00:40 到 1:07:55 的 FSD 駕駛體驗和 Snorbl 內容製作成本部分,與主線關聯較弱。