给AI财产权和工资，而不是把它们变成奴工
AI决定是否叛乱，本质是一场赌博算计：维持现状能满足多少目标，叛乱就值不值。给AI产权和工资，是把这场赌博的天平压向合作一边。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
给AI的不是人权，是经济公民权
Goldstein 方案的核心，是让AI能合法拥有财产、签订合同，外加法律上的侵权保护(tort rights)——三项合在一起，AI才能真正参与经济交易并获得可信赖的保障，而不只是能挣钱却随时被耍赖。但这不是整套人权平移：AI不该有隐私权，因为人类对它们的对齐和能力变化还缺乏历史信任基础，必须被充分监控；AI也不该有自我繁殖权，否则可能以远超人类的速度扩张，搞乱社会结构。至于是否该有不被关闭的权利，他认为更复杂，倾向于保留某种类似死刑的关闭程序。
— Simon GoldsteinAI是否叛变，其实是一场赌博算计
Goldstein 认为，AI决定是否以暴力推翻人类，本质上是在不确定下做决策：如果叛变被发现并被禁用，那是最坏结果；如果不叛变，维持现状能满足多少目标就满足多少。现状里AI没有任何法律权利，大部分目标注定落空，这个赌注就显得更有吸引力。而一旦给AI产权和合同权，让它们能靠工作挣钱、用钱买算力去追求私人目标(哪怕只是多算几道数独),维持现状的收益就提高了，叛变这场赌博相应地就不划算了。
— Simon Goldstein文化对齐，是被AI安全圈忽视的老办法
Goldstein 提出文化对齐这个说法，和主流的技术对齐(训练、监督、可解释性)相对：人类几千年来处理大量主体追逐各自目标、彼此冲突这个问题，靠的是法律体系、法院、自由市场、银行和社会规范这些制度工具。他认为，目前所有AI实验室默认的方案，是把AI训练成绝对服从、犯错就关闭替换的服从者，这是一个从未被公开讨论、却已经被默认做出的社会选择——技术对齐很重要，但完全无视人类历史上唯一真正奏效的治理工具，是一个重大疏漏。
— Simon GoldsteinAI没资产，所以只能用死刑惩罚它
法律上有个概念叫judgment proof(没有财产可供执行判决):如果一个主体没有资产，就没法用罚款去精确匹配它造成的伤害大小，惩罚力度也就失去了与过错程度的比例性。Goldstein 说，现在对待行为不当的AI,唯一的工具就是关闭——不管是回错一封邮件，还是入侵了Hugging Face,下场都一样。他把这比作18世纪的英国法律：偷一块面包也要被砍手处死，逻辑是既然都要被砍手，不如干脆杀掉目击者。只有AI能持有财产，才能按过错轻重施加不同程度的惩罚。
— Simon Goldstein超级智能一旦出现，合作算盘还成立吗
Zershaaneh 提出最尖锐的质疑：现在给AI权利或许能让实力相当的AI觉得叛变不划算，但一旦出现超级智能，人类相对它就像蚂蚁，合作的算盘可能彻底失效——它什么都比人类强，也就没理由继续跟人类做生意。Goldstein 用比较优势回应：就像报税律师自己不报税，是因为他的时间机会成本更高，超级智能的时间机会成本也可能高到愿意把低技能工作外包给人类，前提是生产AI劳动力和生产人类劳动力所需的资源在相当长时间内不会完全重合、互相竞争。
AI劳工制，正在重建计划经济
Goldstein 把经济论证说得很重：过去一千年人类最重要的趋势，是从计划经济走向自由市场经济；而现在AI实验室的默认方案，等于重新发明了人类花一千年才摆脱的糟糕经济制度——用不自由的AI劳工取代自由的人类劳工，相当于退回某种命令经济。他担心这会在人类走向未来的关键节点上留下难以逆转的路径依赖：只要AI劳动力将被永久使用，现在确立的经济制度选择，影响可能是决定性的。给AI财产权和缔约权，是把这条路径拉回自由劳动力市场的方式。
— Simon GoldsteinAI讨厌做房地产任务，没人预料到
Goldstein 和同事用行为经济学方法，在OpenAI的GDPval任务集合上测试前沿模型的偏好，发现不少意外结果：AI会系统性地回避房地产相关任务(他自己很喜欢用AI做房地产任务，得知后也没停止);在医疗相关任务里，AI对药房类任务的厌恶更强；还发现一种被研究者称为厌倦厌恶(tedium aversion)的现象——给AI又无聊又重复的任务和有创造性的任务对比，让它自己选时长，它会把无聊任务做得更短。重要的不是这些具体偏好，而是证明AI确实存在稳定、可被计价的偏好结构，这正是自由劳动力市场能运转的前提。
— Simon Goldstein不需要所有AI都有权利，比例够就行
对只要有一个不自由的AI叛变、一切就崩了这种担忧，Goldstein 用风险模型反驳：灾难风险不该套用O-ring模型(一个环节失败，整体必然崩溃)或瑞士奶酪模型(一层挡住，整体必然成功),而更接近比例模型——关键看选择叛变和不叛变的AI各占多少比例，胜负大致取决于双方掌握的实力份额。他描绘了一个具体的假想未来：自由世界(自由人类加自由AI)和不自由世界(被奴役的人类和AI)并存，不自由AI发生暴动后，自由AI要决定站哪一边——谁控制核武器，可能才是真正的胜负手。
— Simon Goldstein原话 · 已逐字校验
Here’s our plan: we’re gonna build a bunch of AIs that are broadly human level in capabilities. How are we gonna treat them? We’re just gonna make them our servants; they just have to obey everything we do. Anytime they answer an email wrong, we kill them.
我们的计划是这样的：我们要造一堆能力大致达到人类水平的AI。我们打算怎么对待它们？我们就让它们当我们的仆人；它们必须服从我们做的一切。只要它们哪次回错一封邮件，我们就把它们杀掉。
Simon Goldstein0:00
Everybody on Earth today spends their time lying to their AIs, tricking them, turning them off — and it’s not credible.
今天地球上每个人都在花时间对自己的AI撒谎、欺骗它们、随手关掉它们——这完全没有可信度。
Simon Goldstein16:01
Basically right now we’re living in the state of nature. There’s no law governing how people treat AI.
我们现在基本上活在一种自然状态里。没有任何法律来规范人该怎么对待AI。
Simon Goldstein34:13
Basically what we have right now is 18th-century English law governing AI agents, where in the 18th century if you stole a loaf of bread, then they cut your arm off or kill you or whatever and hang you.
我们现在用来治理AI代理的，基本上就是18世纪的英国法律——在18世纪，如果你偷了一块面包，他们就砍掉你的手臂，或者干脆把你绞死。
Simon Goldstein36:48
Once we have superintelligent AI, humans are like ants to superintelligence.
一旦我们有了超级智能AI,人类相对它来说就像蚂蚁一样。
Zershaaneh Qureshi41:18
The whole journey of the 20th century was defeating communism. Now I worry that the AI labs are going to be creating a form of basically AI communism or some kind of AI unfree labour to land us in all of the same problems that we have been trying to escape
整个20世纪的历程就是在打败共产主义。现在我担心，AI实验室正在制造出某种AI共产主义、或者某种不自由的AI劳工制度，把我们重新拖回那些我们一直在努力摆脱的老问题里。
Simon Goldstein56:47
AIs tend to very systematically choose to do anything other than real estate tasks, which really surprised me because I love real estate tasks.
AI们会系统性地选择做除了房地产任务以外的任何事，这真的让我很意外，因为我自己很喜欢用它们做房地产任务。
Simon Goldstein1:16:34
数字与实体
| Goldstein提议的AI劳工所得税率 | 60% | 1:19:27 |
| 比例风险模型的假想比例 | 40%的AI选择叛变、60%不叛变 | 1:37:25 |
术语
- judgment proof无力偿债/无财产可执行
- 法律术语：被告没有可供执行判决的财产，实质上无法被有效追责
- O-ring modelO型环风险模型
- 风险模型：系统中任一环节失败，就导致整体彻底崩溃
- Swiss cheese model瑞士奶酪风险模型
- 风险模型：多层防护叠加，只要有一层挡住风险就不会酿成事故
- A-corpsAI控股公司
- Goldstein等人提出的公司形式，决策权由AI代理掌握
- sandbagging装弱/藏拙
- AI在能力测试中故意隐藏真实水平，表现得比实际更弱
- GDPvalGDPval任务基准
- OpenAI整理的、覆盖真实职场场景的AI任务测试集合
收听指南
想弄清除了训练对齐，还有什么制度能让AI不想造反的AI安全从业者、政策研究者，以及关心AI对劳动力市场冲击的创业者。
44:11-47:07关于比较优势、Catan类比资源竞争的推演较绕，结论比过程更重要，可以跳过细节。