Vitalik锐评Anthropic:安全话术与自身权力相关性超九成
Vitalik捐出数亿美元资助AI安全,如今却说各家AI实验室嘴上谈安全,但他们实际做的事和扩张自身权力的相关性可能超过九成。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
Anthropic接班人名单秘而不宣
Anthropic招股书里safety一词出现248次,AI安全出现36次;七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权,长期利益信托有权选举董事会多数成员。更关键的是,创始人可以提前指定在自己失去履职能力后由谁接替投票权,人选需内部批准,但名单保密——公众不知道未来谁可能参与Anthropic的决策。
— YiwenEA四次转向:从蚊帐到AI安全
Afra把EA十几年历史分成四个阶段:用可量化证据改善全球健康的蚊帐时代;2015年前后转向关注未来世代和存在性风险的长期主义时代,SBF等富豪的资金在此时大量涌入;FTX崩塌后的信任危机时代,同时ChatGPT带来AI转折;再到现在AI安全成为核心议程、让普通大众都听说EA这个词的AI安全时代。
— Afra安全审计机构和Anthropic的利益绑定
给Anthropic做独立安全审计的METR,其主要资助方Coefficient Giving的创始人Dustin Moskovitz同时是Anthropic的早期投资人,持有大量股票。Afra不认为这是阴谋,但指出真正的问题是:当一场思想运动有了巨额资金,它不只在发现重要问题,也在决定什么问题会被认为是重要的——这正是今天AI政策圈的现实,年轻研究员大量被高薪的AI safety职位吸纳。
— Afra去华尔街赚钱再捐出去的悖论
MacAskill在牛津的演讲里告诉学生,当医生一生约能救140条命,但去华尔街或咨询业赚钱、再明智地捐赠,因为能买更多蚊帐,拯救生命的数量可能是前者的十倍。Afra认为,这套逻辑后来成了一些量化交易者(包括SBF)为自己拼命赚钱寻找道德借口的工具——只要声称要捐出去,疯狂逐利就被包装成了善行。
— Afra一场玩笑币意外捐出数亿美元
Vitalik回忆柴犬币团队把一半代币供应量直接打进他的公开钱包,他本以为市值很快会归零,就把代币分给几个组织,设想对方最多能变现两千多万美元。三个月后代币没跌,几家机构合计套现数亿美元——印度CryptoRelief拿到约4.7亿美元,FLI拿到4到6个亿——远超他自己的预期和控制。
— Vitalik「被忽视」不再是捐AI安全的理由
Vitalik说自己判断该不该捐一个领域,核心标准是neglectedness(被忽视程度)——这个问题重要,但现在关心的人是不是太少了。十年前AI安全、长寿研究都很冷门,值得投入;但现在AI安全已经有大量资金、职位和关注,问题不再是资源太少,而是大家做的方法可能不对,而这种问题没有简单的解法。
— Vitalik安全话术和权力扩张相关性超九成
Vitalik说可以理解Anthropic的每一条论点——如果认同它的前提,就会同意它的结论——但观察它实际做的事,和扩张自身权力的相关性「可能高于90%」。他的质疑是:一家公司凭什么说「我们好,所以该我们赢,你们不该有权力」,却又一边批评开源AI危险,一边自己仍在加速这场AI竞赛。
— Vitalikd/acc:用去中心化防御取代集中管控
Vitalik提出d/acc:技术发展值得推进,但应优先投入能保护普通人的去中心化防御技术,而不是把权力集中到少数模型或公司。他举例说,一些EA组织把八成资源放在「让AI模型自己拒绝帮人造病毒」上,这其实是中心化防御,只要别国有自己的模型,这套限制就没用,真正有效的是检测、过滤和更快疫苗研发这类去中心化手段。
— Vitalik原话 · 已逐字校验
那就是创始人可以提前指定 在自己失去履职能力后 由谁接替自己的投票权 这些人选需要经过内部批准 但名单是保密的 也就是说公众目前并不知道 未来谁是有可能参与 Anthropic决策的人
创始人可以提前指定在自己失去履职能力后由谁接替自己的投票权,这些人选需要经过内部批准,但名单是保密的,也就是说公众目前并不知道未来谁可能参与Anthropic的决策。
Yiwen1:01
就是他不想让AI变得不可控 同时造成让人类无法承受的后果 这就是他们的议程 其实没有什么隐藏的议程
他们的议程就是不想让AI变得不可控,同时造成人类无法承受的后果——这就是他们的议程,其实没有什么隐藏的议程。
Afra19:10
你未来的自己 永远会背叛你现在的自己 因为你10年 20年之后 你的想法会变 你的行为会变 你身边的朋友 你的圈子会变 你想做的事情会变
你未来的自己永远会背叛你现在的自己,因为十年、二十年之后,你的想法会变、行为会变,你身边的朋友和圈子会变,你想做的事情也会变。
Afra27:15
你每次付2000块 你就可以救一个人的命 其实大部分的人 他们会花2000块做什么 有可能是一个公务舱的机票
按照他们的统计,你每次付两千美元就能救一个人的命;而大部分人花两千美元做的是买一张公务舱机票。
Vitalik41:22
其实我自己在2016年的时候 我花了25000美元买一些狗狗币 我的钱都变成了 可能1000多万
我自己在2016年花了25000美元买了一些狗狗币,后来这笔钱变成了可能一千多万美元。
Vitalik1:00:37
Man versus nature其实更简单 Man versus man是特别复杂的 因为你在对抗的那个挑战 是跟你一样聪明的 所以你做的事情能有的效果 有可能是会非常复杂的
人对抗天然其实更简单,人对抗人特别复杂,因为你对抗的挑战和你一样聪明,所以你所做的事能带来的效果可能非常复杂。
Vitalik1:17:54
大概有三个点 第一个点是acceleration 就是技术的发展是重要的 第二个点就是defensive 我们现在需要花更多的能力 做一些可以保护我们的技术
大概有三个要点:第一是acceleration,技术发展很重要;第二是defensive,我们现在需要花更多力气,做一些能保护我们的技术。
Vitalik1:38:10
数字与实体
| Anthropic招股书中safety一词出现次数 | 248次(其中AI安全36次) | 0:01 |
| Anthropic创始人掌握的投票权 | 50.1%(一般表决事项) | 1:01 |
| Coefficient Giving自2014年以来累计拨款 | 超过70亿美元 | 37:21 |
| Vitalik 2021年捐出加密货币的估计总值 | 约15亿美元 | 38:21 |
| Vitalik捐给FLI的代币最终兑现金额 | 约5亿美元 | 6:03 |
| Vitalik给出的P(doom)(人类灭绝概率) | 0.1 | 55:31 |
术语
- EA (Effective Altruism)有效利他主义
- 主张用证据和理性分析,把有限的钱和时间用在能带来最大善的地方
- e/acc有效加速主义
- 主张尽快推进AI等技术发展,反对因安全顾虑而减速
- d/acc防御性/去中心化加速主义
- Vitalik提出,主张加速技术发展但优先投入能保护普通人的防御性技术
- Neglectedness被忽视程度
- EA评估捐赠价值的标准之一:这个领域是否还缺少关注和资源
- P(doom)人类灭绝概率
- 对AI或其他风险导致人类灭绝可能性的主观估计
- Orthogonality thesis正交性论题
- AI的智力水平和它的目标是否符合人类利益,是两个互不相关的维度
收听指南
关注AI政策和慈善资金流向的创业者、投资人,以及想理解EA/理性主义社群如何塑造硅谷AI叙事的人。
前半段Afra梳理EA历史背景,若已熟悉MacAskill与Yudkowsky可直接跳到对话正文。