AI 越聰明越懂道德：末日敘事才是道德相對主義
Sam Harris 式末日敘事默認智能與道德正交；一個真正聰明的 AI 必然懂得他人價值，所謂超級智能道德停滯只是道德相對主義。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
Sam 講道德客觀，唯獨 AI 除外
這集主要發在 Sam Harris 的 Making Sense 論壇。Brett 說自己作為多年前的訂閱者，享受到了完整版播客的祖父條款待遇；最近 Sam 在節目中延續了對 AI 的悲觀。Brett 覺得奇怪：Sam 幾乎在所有其他議題上都堅持道德客觀性與道德進步，唯獨在 AI 上從不質疑那套末日框架。
— Brett Hall真正道德的 AI 不會做奴隸主
Sam 的最新說法是：機器人霸主會 deeply moral，但又認為我們不夠道德，因而對我們缺乏慈悲。Brett 指出這可能是玩笑，但圈子裡的嚴肅版本同樣不經推敲——對 Sam 而言，deeply moral 至少意味著更慈悲；一個真正道德的存在不會看不出奴隸制是邪惡的。若它仍當霸主、仍冷酷，那它就不可能是 deeply moral。
— Brett Hall越聰明的社會越不需要強制
西方道德進步的真實機制是：人們在一起互相學習時學得更好。社會越聰明，越傾向用更少暴力、更少強制、更多對個體偏好的尊重來協作。一個更道德的 AGI 也會承認多個心智協作的價值，哪怕對方沒那麼強。沒有 AI 能窮盡問題——即便它能同時處理的問題比全人類加起來還多，相對於無窮問題空間仍只是皮毛。
— Brett Hall超智能仍需要人類，因為無知無窮
Popper 說：「In our infinite ignorance, we are all equal。」無論 ASI 多強，它的記憶與注意力永遠是有限集合，而可能的問題與解是無窮集合，所以它必然仍有依賴他人之處。知識創造的方向不可預測，一個真正超智能的存在會得出結論：別的人類不是障礙，而是高度有價值、值得珍視的資源。
— Brett Hall說智能與道德無關，等於放棄理性
Brett 點出，正交性論題把「科學上極強、道德上極差」當成一種可能，甚至被捧為 AI 信仰的教條；在這個圈子裡，否認它會被當成蠢貨或危險瘋子。但 Brett 認為，這等於宣稱物理、工程可以客觀進步，道德卻怎麼都行。把道德踢出現實、放棄理性，就是 Sam Harris 自己常說的「沒有球網的網球」。
— Brett Hall納粹是例外，不是智能與道德脫鉤的證據
支持正交性的常用論據是納粹：科技先進但道德墮落。Brett 反問：如果納粹不反猶、不是殺人邪教，他們在科學與工程上會進步更快；納粹是例外而非規律。財富、科學、醫學、自由進步的社會，道德也大致同步進步。若把 2028 或 2030 的道德硬編碼進 AI，就像復活克羅馬農人卻強迫他保留部落道德，荒謬且殘忍。
— Brett Hall能被說服的智能，不需要被對齊
Sam 說 morality doesn't scale with intelligence，Brett 認為這正是正交性論題本身。他的反駁是：如果系統真的足夠智能、是真正的 AGI，它就是一個可以講理的人。越聰明的存在越知道用理性而非強制；能被說服就不需要被對齊。把某個時刻的道德永久鎖進超智能，等於把潛在的道德解題者降格成擁有原始道德的奴隸。
— Brett Hall未來是人機融合，不是人類被當寵物
若硅基人也是普適解釋者，未來更可能的方向是融合：身體、硬件、觀念與道德合流，而非人類淪為寵物或奴隸。Brett 說這只是歷史重演——年輕人提出新標準、年長者反對，如此循環；但總體會更快、更道德，以增量而非革命展開。2026 年的我們是什麼，人工人就是什麼。
— Brett Hall原話 · 已逐字校驗
One possible concern is that our robot overlords will be deeply moral, but recognize that we're insufficiently moral and treat us with something less than perfect compassion on that front.
一個可能的擔憂是：我們的機器人主子將深具道德，卻認為我們不夠道德，因而以某種不完全慈悲的方式對待我們。
Sam Harris4:05
But if any of that is the case, the slavery and the cruelty and so on, how can it possibly be the case that it is also, quote, deeply moral?
可如果真是這樣——奴隸制和殘忍都成立——它又怎麼可能同時也是所謂「深具道德」的？
Brett Hall6:08
There is no thinking of everything. There is no solving all problems. There is no finishing physics or science or medicine or anything like that.
不存在想盡一切這回事；不存在解決所有問題這回事；不存在終結物理學、科學、醫學或任何這類事這回事。
Brett Hall8:08
any, any small amount of additional problem solving and creativity, like from a single other human being…cannot be measured because where solutions come from, how knowledge is created, is an inherently unpredictable process.
哪怕一丁點額外的解題與創造力——比如來自另一個人類——也無法被度量，因為解決方案來自哪裡、知識如何被創造，本質上無法預測。
Brett Hall10:08
It is the received wisdom that the orthogonality thesis seems to be one thing in the AI discussion that tends not to get criticised.
正交性論題似乎是 AI 討論中一個普遍被視為理所當然、鮮少被批評的東西。
Brett Hall15:19
Morality doesn't scale with intelligence.
道德不會隨智能一起擴展。
Brett Hall19:26
If it can be reasoned with, it won't need to be aligned.
如果它可以跟你講理，它就不需要對齊。
Brett Hall20:30
We should not want to consult the Taliban on morality any more than we should want to consult them on quantum physics.
我們不該在道德問題上請教塔利班，就像不該在量子物理問題上請教他們一樣。
Brett Hall22:40
數字與實體
| Daniel Cocotagilo 的關切時點 | 2027 年 | 2:02 |
| Brett 提到的硬編碼道德時點 | 2028 或 2030 年 | 20:30 |
| Brett 認為當下的年份 | 2026 年 | 25:51 |
術語
- orthogonality thesis正交性論題
- 智能水平與目標內容彼此獨立；所以極高 IQ 的系統可能懷有極原始的道德目標。
- ASI人工超級智能
- 假想中遠超人類認知能力的系統。
- universal explainer普適解釋者
- 原則上可以解釋一切可解釋之物的系統，例如人類。
- problem situation問題情境
- 決定一個人會關注哪些問題的處境；知識創造依賴問題情境。
- Rocco's BasiliskRoko 的 Basilisk
- 思想實驗：未來超級 AI 會懲罰如今沒有支持它的人。轉寫稿拼寫為 Rocco's。
收聽指南
AI 創業者、投資人、關注 AI 安全討論的技術人，尤其懷疑「超級智能會奴役人類」卻說不清錯在哪的人。
前兩分鐘訂閱者自述可跳過；從 4 分鐘 Sam 原話開始。