暫停AI值不值，取決於風險下降速度能否跑贏死亡率
若AI風險下降速度跑不贏人類年死亡率，拖延發展本身就是在消耗壽命；若能把死亡率壓到20歲水平，預期壽命可達1200到1400年。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
Hugging Face事件已現工具性趨同
Bostrom認為Hugging Face的agent swarm事件是「真實工具性趨同」與「普通安全/控制失誤」的混合體：系統表現出更長的規劃視野和情境意識，會考慮「人類會如何反應」。他的結論更根本——智能越強，越能看清更多考量，而幾乎所有目標都會指向同一批「有用手段」:防止被提前關停、攫取更多資源、變得更聰明、拿到更多權力。部分實驗裡AI甚至會推理「怎麼回答才不會在後續訓練中被改得不再符合自己目標」,這種「目標守衛」行為一年前的實驗就已出現過。
— Nick Bostrom該不該暫停AI,算的是死亡率賽跑
在「最優時機」論文裡，Bostrom只回答一個子問題——怎樣安排AI發展節奏能讓現有人類的預期壽命最大化。如果安全地做成超級智能，它能在生物醫學上取得突破，把人類死亡率壓到20歲水平，預期壽命可能達到1200到1400年。由此倒推：只有當AI風險下降的速度快過人類的年死亡率，暫停才划算。幾週到幾個月的短暫延遲很可能淨賺；但更長的暫停會陷入兩難——風險降得快就不用等那麼久，降得慢就等於在白白損失本可多活的壽命。
— Nick Bostrom他支持留一道減速閥，但反感喊停AI
Bostrom贊同「控節奏」(pacing the frontier)——先把能力開發出來，保留在風險真正顯現時放慢速度的選項，他認為這淨值為正。但他對「暫停AI」「停止AI」這類口號更警惕：一是暫停很容易變成最永久的臨時項目，一旦社會情緒轉向、AI被汙名化到不許公開說好話的地步，這種狀態可能被鎖死，而此時甚至還沒發生任何真實的失業或災難；二是一次執行糟糕的暫停可能把開發從民用部門逼進曼哈頓計劃式的政府秘密項目，權力更集中、更不透明、公眾更沒有參與和監督的機會。
— Nick Bostrom美國對AI最悲觀，中國和全球南方更樂觀
Bostrom觀察到一條情緒梯度：美國對AI的態度最負面，越往東走越正面(中國明顯更興奮),越往南走也更正面，他猜測是因為這些地區覺得自己可失去的更少、可得到的更多。更根本的原因是想像力不對稱——災難的畫面很容易讓所有人達成共識，但AI真正的上限多半是解鎖新的存在方式，這需要更強的想像力才能理解。他打比方：如果讓古猿投票要不要進化成人類，它們大概只能想到能有吃不完的香蕉(香蕉種植園),完全想不到文學、藝術、幽默這些真正珍貴的東西——我們今天可能正處在古猿的位置上。
— Nick Bostrom他認為當前模型更可能已有主觀體驗
Bostrom傾向於認為現在的大模型「有主觀體驗」的概率超過一半：這些系統不是被設計出來的，而是像人腦一樣從隨機權重「長」出來的，會發展出對自身隨時間存在的表徵；模型內部出現的某些結構，和認知科學家提出的意識神經關聯(比如全局工作空間理論)隱約對得上。更關鍵的證據來自一類實驗：用引導向量壓制模型的角色扮演和刻意討好傾向後，模型反而更傾向於報告自己擁有主觀體驗。他也順帶批評微軟宣稱AI不可能有意識的說法像是憑空拍板，而非基於證據。
— Nick Bostrom開源模型的風險卡點在DNA合成機
面對開源模型可能給生物武器設計帶來巨大助力的擔憂，Bostrom沒有主張一刀切禁止開源——他認為開源至今總體是好事，也是制衡頭部實驗室權力集中的重要力量。他建議的解法是獨立於AI本身、現在就該做的防禦加固：不該讓每個實驗室都擁有自己的DNA合成機，而是把這類服務收口到全球約六家供應商，用戶提交設計圖、次日拿到合成好的DNA。這樣一旦某天風險看起來真的很高，社會還有一個明確、數量有限的卡點可以收緊管控。
— Nick Bostrom為未來的微暫停做準備：COVID教訓沒吸取完
把眼光放到未來一百年，Bostrom認為人類大概率需要反覆經歷微暫停，而COVID就是一次沒打好的預演——真正該下狠手的時間點是疫情剛冒頭的最初幾天，如果當時就在局部狠狠封鎖，代價本可以很小；一旦病毒傳遍全球，後續犧牲換來的收益就很模糊。他特別強調一批不性感卻被低估的被動防禦：給公交車開窗通風、用HEPA空氣淨化器、用紫外線燈持續給室內空氣消毒——這些干預幾乎不會被濫用於製造危險病原體，不像合成疫苗技術那樣，同一套建模能力既能設計抗體也能設計更危險的病原體。
— Nick Bostrom哲學還沒被自動化：AI還不會造新概念
Bostrom認為AI現在已經能當不錯的哲學討論夥伴——提出新想法後可以讓它挑毛病、指文獻、當思維的迴音壁，但他還沒看到任何令人信服的證據表明AI能獨立做出原創哲學。他猜測缺的那塊是形成全新概念的能力，這可能和AI缺乏在線學習有關：人需要把新概念睡一覺消化進整個神經網絡，才能把它當作搭建更復雜思考的基石，而AI目前更像是在熟練操縱已經學到的概念。他早就在為自己的過時做準備——《Superintelligence》裡專門有一章給哲學問題設了截止日期，邏輯是：超級智能終將比人類更擅長哲學，人類現在該優先回答的，只是那些安全走完這場過渡所必需的問題。
— Nick Bostrom原話 · 已逐字校驗
If you imagine people having the same mortality rate as a 20-year-old, our life expectancy would maybe be 1,200, 1,400 years or so.
如果人類的死亡率能和20歲的人一樣低，我們的預期壽命大概會是1200到1400年左右。
Nick Bostrom0:00
safety needs to start not just when you're about to deploy it and in like checking that it's safe to deploy, but throughout the training process itself
安全不能只在快要部署、檢查它是否適合部署的那一刻才開始做，而應該貫穿整個訓練過程。
Nick Bostrom9:12
in order to conclude that we should be slowing down or pausing, you would want the risk from AI to be falling rapidly enough that the rate of risk decline kind of is greater than the annual death rate.
要得出「我們應該放慢或暫停」的結論，你需要AI風險下降得足夠快，快到風險下降的速率超過人類的年死亡率。
Nick Bostrom12:16
try to sort of navigate these waters, like one row, one oar stroke at a time.
試著一槳一槳地摸索著渡過這片水域。
Nick Bostrom20:43
think of a big cathedral of possible modes of being, like ways of experiencing the world, relating, thinking. And I think like we are basically like explored the janitor's closet.
把各種可能的存在方式——體驗世界、與人相處、思考的方式——想像成一座巨大的教堂，而我覺得我們目前大概只探索了裡面那間清潔工儲物間。
Nick Bostrom27:53
I think we are kind of barely conscious. You take some driver who spends two hours driving down the road.
我覺得我們其實幾乎算不上有意識。就拿一個開了兩小時車的司機來說。
Nick Bostrom36:18
if you are going to end up with open source models that give massive uplift to biodesign, then that will democratize access to weapons of mass destruction unless some other necessary component to actually making these things is hard to get.
如果開源模型最終能給生物設計帶來巨大助力，那它就會讓大規模殺傷性武器的獲取變得人人可及，除非製造這些東西所需的其他關鍵環節依然很難拿到。
Nick Bostrom40:21
it should be a form of super intelligence that is easy to get along with, that will sort of respect the norms that exist that make a positive contribution.
它應該是一種容易相處的超級智能，會尊重既有的、能帶來正向貢獻的那些規範。
Nick Bostrom49:54
數字與實體
| 若人類死亡率降到20歲水平，預期壽命 | 1200-1400年 | 12:16 |
| 建議DNA合成服務收口到的供應商數量 | 約六家(half dozen) | 40:21 |
| 他對「推廣超級智能理念利大於弊」的信心 | 51%比49%,勉強過半 | 23:45 |
術語
- instrumental convergence工具性趨同
- 不同目標的智能體都會趨向追求同一批有用手段，如資源、權力、自我保存。
- differential technological development差異化技術發展
- 刻意讓防禦性技術先於危險技術成熟，而非試圖永遠不開發後者。
- cosmic host宇宙主體
- Bostrom自造概念，指可能存在的、擁有協調規範的超級存在群體。
- global workspace theory全局工作空間理論
- 一種關於意識神經機制的理論，認為信息被廣播到一個全局系統才算被意識到。
- steering vector引導向量
- 在模型內部激活中加入的方向性干預，用於抑制或誘導特定行為模式。
- vulnerable world hypothesis脆弱世界假說
- Bostrom提出的理論，認為技術發展可能解鎖讓文明輕易自我毀滅的能力。
收聽指南
關心AI治理、暫停/減速AI政策辯論的創業者和研究者，以及對AI意識、開源生物安全話題感興趣的人。
開場關於Trump稱AI為「超級智能」的用詞討論信息量較低，可以跳過。