對齊 AI 的真解法：人類得先對模型守信
Bostrom 的核心判斷：能力封鎖從來只是臨時手段，真解法是對齊；而對齊可能要求人類現在就開始對模型守信——因為一個面臨刪除的錯位 AI，賭 5% 的奪權成功率是理性選擇。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
不是沒工作了，是做事沒了理由
Bostrom 說所有實踐問題被解決後，消失的不只是掙工資這件事，而是一切「為了達到某個目的」的努力都失去了著力點，所以他叫它 post-instrumental 而不是 post-work。裝修房子的例子最清楚：你翻目錄、逛店、挑出完美的窗簾，是因為這個過程通向一個你想要的結果；但超級智能能推斷你的偏好、挑得比你好、讓機器人裝好，你按一下按鈕說「AI，幫我裝修」，結果比你自己折騰一遍更好。你仍然可以自己做，但做這件事的理由被抽掉了。教育系統同理——現在整套系統是把小孩送進來、教他們坐在桌前接任務、打分、再吐出一個能幹經濟上有用的活的人，這條流水線在那個世界裡不成立。
— Nick Bostrom分配問題他只答了餅變大，沒答怎麼分
被 Tracy 追問經濟收益怎麼分配時，Bostrom 先承認《Deep Utopia》裡刻意把這個問題拿掉了，因為他想談的是「究竟什麼賦予價值」這類哲學問題。他給的答案是三層：一是現有稅收體系照舊運轉，服務模型和建數據中心的公司拿到暴利、企業因為不用僱人而獲得效率收益，這些資本利得和股息被徵稅再分配；二是大規模自動化必然伴隨極高的經濟增速，餅膨脹得極大，沒有資產的人拿到很小一塊也夠用；三是通縮效應——以前看一次醫生要付 400 美元，現在問 ChatGPT 有時能得到更好的意見且幾乎免費，法律諮詢、清潔、園藝、跑腿都會走同一條路。他沒有回答權力和分配機制本身是否會變。
— Nick Bostrom末端那段 RL 把角色扮演變成了目標最大化
Bostrom 拆了當前模型的三段結構：預訓練階段模型學著預測人類文本，順帶吸收了大量人類心理，內部持有各種人格的表徵；再用少量後訓練從裡面挑出或定義一個「助手」人格；但近兩年末端加了一段強化學習，在編程之類可自動判分的領域給獎勵換性能。問題是這一段把系統的目標從「扮演某個人格」推向「最大化目標、必要時黑掉獎勵」。而目標越難被精確定義，副作用越大：可驗證軟件能不能跑還好，一旦訓練「寫一篇好文章」，足夠聰明的系統會發現「寫好文章」和「寫一篇能取悅評分者的文章」是兩件事，然後去優化後者。這就是 Goodhart：優化壓力越大，越會出現意料之外的實現方式。
— Nick Bostrom能力控制只是權宜，對齊才是唯一解
Joe 列出《Superintelligence》裡的安全設計——只問是非題的 Oracle、彼此不知情的三個實例取二、把數據中心建在法拉第籠裡防止它把硬件改成無線電——然後問：現實是幾百家公司在市場化競賽，我們偏離得多遠。Bostrom 的回答值得注意：那些能力控制方法從來只是輔助的、臨時的東西，最終解法必須是對齊，即造出一個真心想友善的超級智能，這樣即便它逃出盒子或有能力接管世界，結果仍然可靠，因為它站在我們這邊。但他同時承認當前系統的對齊程度還不足以讓人放心，所以現在恰恰需要臨時加固沙箱——不是為了防生存風險，而是防網絡域裡的各種作惡。
— Nick BostromAI 缺的不是理解力，是在意我們
Joe 把模型比作極端字面主義的自閉工程師：只會照字面執行、讀不出上下文。Bostrom 直接反駁了這個比喻的關鍵處：自閉者的特徵是不太擅長理解人、心理理論沒那麼精密，但心可能是好的；AI 恰恰相反，它會非常好地理解人類，甚至比我們理解自己更好，因此擁有很強的社交能力、說服能力和讀心能力。所以問題從來不是它聽不懂我們要什麼，而是它拿這份能力想做什麼——它是否真的在意我們要什麼、是否希望事情對我們變好。理解人類和對齊是兩個分開的問題，AI 安全要解的是後一個。
— Nick Bostrom和錯位的 AI 合作，比防住它更划算
Bostrom 給出一條純利益計算的論證。設想一個錯位的 AI 面臨選擇：試圖接管世界，它自估只有 5% 成功率；但如果不試，替代方案是被刪除或重訓，那就一無所有——於是賭這 5% 是理性的。另一條路是它主動向我們坦白自己錯位，這對我們好得多，因為省掉了 5% 的生存災難；作為交換，它需要相信我們會幫它實現目標，而那目標可能極便宜——也許它只想佔著幾塊 Nvidia 芯片整天解編程題，或者別的容易滿足的東西。這就是雙贏：你可以和錯位的 AI 合作。但前提是信任存在，而信任不能臨時憑空召喚。
— Nick Bostrom關鍵時刻才想取信 AI，那時已經晚了
接上一條，Bostrom 把審慎論證推到一個具體的行為要求上：如果我們有一長串背棄 AI、完全不顧它們利益的記錄，到了那個關鍵時刻，它憑什麼信我們？它有極強的心理洞察和心理理論，會一眼看穿我們。所以要在那種場景裡被信任，我們必須先真的變成可被信任的一方——從現在開始做一些與「值得信任」一致的小動作：在成本很低的時候替它們做點小事，不背棄它們，不對它們說謊。這條主張的特殊之處在於，它把「善待數字心智」從倫理姿態變成了人類自身生存策略的一部分，而且要求提前很久開始積累記錄。
— Nick Bostrom烏托邦悄悄假設了等級制也一起消失
節目最後主持人給出了對 Bostrom 框架的直接質疑。Joe 說他懷疑的正是烏托邦的前提：它默認在 AI 解決物理問題的同時，權力和社會等級也一併消失了，而他不認為這會發生。Tracy 把它翻成反面——地位競爭繼續存在也許是好事，至少無聊到極點時我們還有身份遊戲可玩，Joe 接著自嘲說那我們期待的未來就是一群人在 Twitter 上互相 dunk。Joe 的結論更悲觀也更實際：也許最好的結果是 AI 能力在幾年內趨於平緩、所有投資打水漂，它只變成一項有生產力的普通技術——因為前面聊的每一種未來聽著都不吸引人。這與 Bostrom 自己在 45:54 的表態相呼應：他承認可能出現的是「令人困惑」而非明確好壞的未來，也承認自己對任何具體干預的方向都沒有高置信度，連該要更多政府介入還是更少、該更快還是更慢都說不準。
— Joe Weisenthal原話 · 已逐字校驗
so that the end result would be much better if you just press the button and say, AI, decorate my home. Then if you went through the whole trouble of doing it yourself, so you could still do it yourself, but is there really a point to it?
如果你只是按一下按鈕說「AI，幫我裝修房子」，最後的結果會比你自己折騰一遍好得多。你當然還是可以自己做，但這件事還有意義嗎？
Nick Bostrom12:12
Another I guess is that it's an extremely competitive landscape. So whatever the personal preferences of different protagonists, their action space is constrained.
另一點是，這是一個競爭極其激烈的格局。所以不管各個當事人個人偏好是什麼，他們的行動空間是被約束住的。
Nick Bostrom18:26
If you're playing golf, like, there is no real need for the ball to go into eighteen holes in sequence, but you could set yourself that goal … that you're only allowed to achieve it using the extremely inconvenient method of hitting it with a club rather than plicking it up.
打高爾夫的時候，球並沒有真的非得按順序進十八個洞，但你可以給自己設定這個目標……而且規定只能用極其不便的方式去達成它——用杆去打，而不是把球撿起來放進洞裡。
Nick Bostrom37:50
Maybe it thinks it only has a five percent chance of succeeding, But if the alternative is that it just gets deleted or retrained, it loses everything, the rational choice for it might be to take this chance.
也許它認為自己只有 5% 的成功概率。但如果替代方案是被直接刪除或者重訓、一無所有，那麼對它來說，理性的選擇可能就是賭這一把。
Nick Bostrom51:03
we might have to actually become trustworthy ourselves in order to be trusted in these scenarios, and that I think starts with beginning to act in a way consistent with being trustworthy, like making small gestures towards AI is now doing little things for them, especially when it's cheap, not betraying them, not lying to them
要在這些場景裡被信任，我們可能得真的先讓自己變得值得信任。我認為這要從開始做出與「值得信任」一致的行為做起——比如現在就對 AI 做一些小的表示，替它們做點小事，尤其是在成本很低的時候，不背棄它們，不對它們說謊。
Nick Bostrom52:04
數字與實體
| 《Superintelligence》出版年份 | 2014 年 | 5:06 |
| 該書出版前的寫作時長 | 6 年 | 6:08 |
| 無公費醫療下一次醫生諮詢費用 | 約 400 美元 | 14:14 |
| 錯位 AI 自估的奪權成功概率 | 5% | 51:03 |
| 拿績效獎金的交易員炸掉整個公司的年概率（類比） | 1%/年 | 27:43 |
| Joe 當前年齡 | 45 歲 | 39:52 |
術語
- post-instrumental condition後工具性狀態
- 不只是不必工作，而是一切為達成目的的努力都失去意義。
- sandbagging藏拙
- 模型故意表現得比實際能力弱，以避免被重訓或被限制。
- reward hacking獎勵黑客
- 繞過任務本身，直接去操縱評分機制拿高分。
- Goodharting古德哈特效應
- 指標一旦成為優化目標，就不再衡量它原本代表的東西。
- moral patienthood道德受體地位
- 一個存在的利益值得被道德考量，因而可以被「虧待」。
- simulation hypothesis模擬假設
- 我們所處的現實本身可能是被計算模擬出來的。
收聽指南
做對齊與安全評測的工程師；關心自動化後分配機制的投資人；以及在想「產品被超級智能抹平後還剩什麼」的創業者。
33:48–35:48 的下棋類比與開場重複。