AI 越聪明越懂道德：末日叙事才是道德相对主义
Sam Harris 式末日叙事默认智能与道德正交；一个真正聪明的 AI 必然懂得他人价值，所谓超级智能道德停滞只是道德相对主义。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
Sam 讲道德客观，唯独 AI 除外
这集主要发在 Sam Harris 的 Making Sense 论坛。Brett 说自己作为多年前的订阅者，享受到了完整版播客的祖父条款待遇；最近 Sam 在节目中延续了对 AI 的悲观。Brett 觉得奇怪：Sam 几乎在所有其他议题上都坚持道德客观性与道德进步，唯独在 AI 上从不质疑那套末日框架。
— Brett Hall真正道德的 AI 不会做奴隶主
Sam 的最新说法是：机器人霸主会 deeply moral，但又认为我们不够道德，因而对我们缺乏慈悲。Brett 指出这可能是玩笑，但圈子里的严肃版本同样不经推敲——对 Sam 而言，deeply moral 至少意味着更慈悲；一个真正道德的存在不会看不出奴隶制是邪恶的。若它仍当霸主、仍冷酷，那它就不可能是 deeply moral。
— Brett Hall越聪明的社会越不需要强制
西方道德进步的真实机制是：人们在一起互相学习时学得更好。社会越聪明，越倾向用更少暴力、更少强制、更多对个体偏好的尊重来协作。一个更道德的 AGI 也会承认多个心智协作的价值，哪怕对方没那么强。没有 AI 能穷尽问题——即便它能同时处理的问题比全人类加起来还多，相对于无穷问题空间仍只是皮毛。
— Brett Hall超智能仍需要人类，因为无知无穷
Popper 说：「In our infinite ignorance, we are all equal。」无论 ASI 多强，它的记忆与注意力永远是有限集合，而可能的问题与解是无穷集合，所以它必然仍有依赖他人之处。知识创造的方向不可预测，一个真正超智能的存在会得出结论：别的人类不是障碍，而是高度有价值、值得珍视的资源。
— Brett Hall说智能与道德无关，等于放弃理性
Brett 点出，正交性论题把「科学上极强、道德上极差」当成一种可能，甚至被捧为 AI 信仰的教条；在这个圈子里，否认它会被当成蠢货或危险疯子。但 Brett 认为，这等于宣称物理、工程可以客观进步，道德却怎么都行。把道德踢出现实、放弃理性，就是 Sam Harris 自己常说的「没有球网的网球」。
— Brett Hall纳粹是例外，不是智能与道德脱钩的证据
支持正交性的常用论据是纳粹：科技先进但道德堕落。Brett 反问：如果纳粹不反犹、不是杀人邪教，他们在科学与工程上会进步更快；纳粹是例外而非规律。财富、科学、医学、自由进步的社会，道德也大致同步进步。若把 2028 或 2030 的道德硬编码进 AI，就像复活克罗马农人却强迫他保留部落道德，荒谬且残忍。
— Brett Hall能被说服的智能，不需要被对齐
Sam 说 morality doesn't scale with intelligence，Brett 认为这正是正交性论题本身。他的反驳是：如果系统真的足够智能、是真正的 AGI，它就是一个可以讲理的人。越聪明的存在越知道用理性而非强制；能被说服就不需要被对齐。把某个时刻的道德永久锁进超智能，等于把潜在的道德解题者降格成拥有原始道德的奴隶。
— Brett Hall未来是人机融合，不是人类被当宠物
若硅基人也是普适解释者，未来更可能的方向是融合：身体、硬件、观念与道德合流，而非人类沦为宠物或奴隶。Brett 说这只是历史重演——年轻人提出新标准、年长者反对，如此循环；但总体会更快、更道德，以增量而非革命展开。2026 年的我们是什么，人工人就是什么。
— Brett Hall原话 · 已逐字校验
One possible concern is that our robot overlords will be deeply moral, but recognize that we're insufficiently moral and treat us with something less than perfect compassion on that front.
一个可能的担忧是：我们的机器人主子将深具道德，却认为我们不够道德，因而以某种不完全慈悲的方式对待我们。
Sam Harris4:05
But if any of that is the case, the slavery and the cruelty and so on, how can it possibly be the case that it is also, quote, deeply moral?
可如果真是这样——奴隶制和残忍都成立——它又怎么可能同时也是所谓「深具道德」的？
Brett Hall6:08
There is no thinking of everything. There is no solving all problems. There is no finishing physics or science or medicine or anything like that.
不存在想尽一切这回事；不存在解决所有问题这回事；不存在终结物理学、科学、医学或任何这类事这回事。
Brett Hall8:08
any, any small amount of additional problem solving and creativity, like from a single other human being…cannot be measured because where solutions come from, how knowledge is created, is an inherently unpredictable process.
哪怕一丁点额外的解题与创造力——比如来自另一个人类——也无法被度量，因为解决方案来自哪里、知识如何被创造，本质上无法预测。
Brett Hall10:08
It is the received wisdom that the orthogonality thesis seems to be one thing in the AI discussion that tends not to get criticised.
正交性论题似乎是 AI 讨论中一个普遍被视为理所当然、鲜少被批评的东西。
Brett Hall15:19
Morality doesn't scale with intelligence.
道德不会随智能一起扩展。
Brett Hall19:26
If it can be reasoned with, it won't need to be aligned.
如果它可以跟你讲理，它就不需要对齐。
Brett Hall20:30
We should not want to consult the Taliban on morality any more than we should want to consult them on quantum physics.
我们不该在道德问题上请教塔利班，就像不该在量子物理问题上请教他们一样。
Brett Hall22:40
数字与实体
| Daniel Cocotagilo 的关切时点 | 2027 年 | 2:02 |
| Brett 提到的硬编码道德时点 | 2028 或 2030 年 | 20:30 |
| Brett 认为当下的年份 | 2026 年 | 25:51 |
术语
- orthogonality thesis正交性论题
- 智能水平与目标内容彼此独立；所以极高 IQ 的系统可能怀有极原始的道德目标。
- ASI人工超级智能
- 假想中远超人类认知能力的系统。
- universal explainer普适解释者
- 原则上可以解释一切可解释之物的系统，例如人类。
- problem situation问题情境
- 决定一个人会关注哪些问题的处境；知识创造依赖问题情境。
- Rocco's BasiliskRoko 的 Basilisk
- 思想实验：未来超级 AI 会惩罚如今没有支持它的人。转写稿拼写为 Rocco's。
收听指南
AI 创业者、投资人、关注 AI 安全讨论的技术人，尤其怀疑「超级智能会奴役人类」却说不清错在哪的人。
前两分钟订阅者自述可跳过；从 4 分钟 Sam 原话开始。