谷歌发明了 Transformer，却把大模型时代让给了 OpenAI
谷歌手里同时握着 Transformer、TPU 和最多算力，却因为搜索广告的包袱和两支 AI 团队的内耗，把语言模型这条最关键的赛道让给了 OpenAI。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
谷歌的底层问题一次性解决
2000 年谷歌索引五个月没更新，工程师查了很多天找不到原因。Jeff Dean 和桑杰把一批看似无关的错误放在一起比较，发现是机器内存里某一位二进制会莫名翻转——为了省钱，谷歌服务器用的是不带纠错功能的便宜内存。他们没有要求换更贵的机器，而是从软件层面加一层保险，哪台机器出错就自动隔离。这就是两人最典型的做事方式：不在表层修故障，而是深入底层把这一类问题一次性解决，让其他工程师不必再考虑机器本身会不会出错。
为神经网络专门造一块芯片
Jeff Dean 用语音一项做估算，做成两页 PPT 给管理层看：未来每个安卓用户每天说三分钟话，光处理这些语音，谷歌全球数据中心就要再扩大两到三倍。他的办法是专门为神经网络造芯片，别的什么都不管。这违背了他对芯片的一贯看法——专用硬件通常不是好主意，等造出来算法早换代了——但神经网络是例外，图片识别和语音听写底层都是同一类矩阵相乘。为了缩短时间，芯片直接做成插卡塞进服务器原本留给硬盘的位置，从项目启动到装进数据中心只用了 15 个月。
哈萨比斯给辛顿打的那通电话
辛顿在酒店房间用邮件办拍卖大会，买家有谷歌、微软、百度，第四个是哈萨比斯的 DeepMind。DeepMind 手上没什么现金，哈萨比斯报出的是价值 1000 万美元的公司股票，差不多相当于整家公司的五分之一。价格很快超过他承受范围，他退出后给辛顿打了个电话，说虽然本来只想出一千万买你们，但我心里觉得你们真正的价值是 5000 万美元。这句话辛顿听进去了，微软高层私下加价 1000 万他一度心动，最后还是回绝。谷歌最终出价 4400 万美元买下辛顿和两个学生。
别人看引擎盖，他要看发动机
谷歌尽调团队飞伦敦，Jeff Dean 也在其中，任务是替谷歌把关 DeepMind 说的东西到底是不是真的。当时 DeepMind 只有 50 个人还没有收入，开出的价格却是谷歌平时收购同等规模公司的两倍，谈判桌上不少人都觉得离谱，Jeff Dean 也觉得有点贵。PPT 放完后他提出一个要求：想看源代码。演示可以包装，代码很难骗人。负责写代码的研究员一下子慌了，因为做研究时写代码只为尽快让实验跑起来，通常很乱很难读。哈萨比斯后来把这一刻叫做度过卢比孔河——代码一旦交出去，就再也没有回头之路。
AlphaGo 越成功，越不可能独立
DeepMind 想借 Alphabet 重组从谷歌分出去，谈了一年多，条款都落到了纸面上。但 Pichai 在电话里说，其他赌注那一栏是留给跟谷歌主页相距很远的登月项目的，AI 已经不属于这一类，它正在成为谷歌最核心的技术。哈萨比斯过去擅长的是先打一场足够大的胜仗，再拿胜利去换下一阶段的筹码，但这一次筹码变化的方向正好相反：AlphaGo 越成功，AI 在谷歌内部就越重要，越接近主页核心，就越不可能被放进其他赌注。2021 年 4 月，哈萨比斯在全员会上宣布争取独立到此结束。
把搜索索引全扔掉，这个建议太疯狂
Transformer 论文刚写出来，作者之一沙泽尔就开始琢磨它的未来，找到谷歌高层提出一个近乎疯狂的建议：把谷歌搜索用了这么多年的索引全部扔掉，改用新架构训练一张巨大的神经网络，重新学习和组织谷歌掌握的全部信息，用户问什么就回答什么。连跟他一起写论文的合作者都觉得这个想法太疯狂，提议不了了之。2018 年前后他和同事训练了一个聊天模型 Mina，可以聊哲学、闲扯电视剧、还会献谐音梗，两人越做越觉得有戏。接下来几年他们先后提过三次申请，包括开放给外部研究者试用、接入语音助手、做公开演示，三次都因为同一个理由被否决：不符合公司的 AI 原则。
同一个公司，却要防着对方看文件夹
DeepMind 没有自己的数据中心，谷歌的数据中心是一个巨大的公共算力池，搜索、油管、谷歌云这些赚钱团队和谷歌大脑、DeepMind 这些烧钱团队共享同一个池子，想训练模型得按额度排队。DeepMind 和谷歌大脑常年争人才、争成绩，争得最多的是机器。2017 年年底为了让机器学下国际象棋，光是自己跟自己下棋就同时占了 5000 块 TPU；第二年谷歌大脑训练 BERT 一共用了 64 块。GPT3 出来后两个团队目标都变成了语言模型，DeepMind 必须改掉文件夹名字，不能让谷歌大脑知道自己瞄准的参数规模，于是 280B 换成了地鼠。
对手手里一把尖刀，谷歌一抽屉刀
2025 年下半年 AI 最大的一块生意转向企业市场，企业花钱最多的不是聊天而是写代码，这块市场有一半落在 Anthropic 手里，另一半是 Cursor。谷歌的问题不是没看到编程方向，而是做得太多，散落在各个部门，光是对外的产品就有五个部门做出六七款编程工具，彼此功能还有重叠。谷歌内部规定写代码原则上只能用自家 AI 工具，用第三方需要特别审批，但留了一个口子：能证明业务需要就可以申请特批。有几位前员工说，谷歌 DeepMind 里负责训练 Gemini 的几个团队全都申请了 Cloud Code，理由是「最好的工程师就应该用最好的工具」。
原话 · 已逐字校验
我们要做出人类历史上最大的发明 他会把今天所有的产品 全部都重新做一遍 你如果非要我挑一个产品出来 当然可以 但你会这么问问题 就说明你还没有明白 我们到底在做什么
我们要做出人类历史上最大的发明，它会把今天所有的产品全部重新做一遍。你如果非要我挑一个产品出来，当然可以，但你会这么问问题，就说明你还没有明白我们到底在做什么。
代码一旦交出去 就再也没有回头之路了 全世界最懂这一行的一群人 把他的底牌看了一个遍
代码一旦交出去，就再也没有回头之路了。全世界最懂这一行的一群人，把它的底牌看了一个遍。
如果你请来的是既有权势 又看得懂这项技术的人 那么他们不会甘心一直坐在场边给你提意见 所谓的顾问 最后很有可能就是你的对手
如果你请来的是既有权势、又看得懂这项技术的人，那么他们不会甘心一直坐在场边给你提意见。所谓的顾问，最后很有可能就是你的对手。
问题从来不是当时他们有没有看到这条路 而是明明已经看见了 为什么最后什么都没有做
问题从来不是当时他们有没有看到这条路，而是明明已经看见了，为什么最后什么都没有做。
12岁那年 哈萨比斯决定 他这一辈子最值得做的事情 就是把脑力用在科学上 46岁这一年 他站在一屋子的科学家面前说 我们不能只做科学了
12 岁那年，哈萨比斯决定，他这一辈子最值得做的事情就是把脑力用在科学上。46 岁这一年，他站在一屋子的科学家面前说，我们不能只做科学了。
他想要重新拥有一支 只有十来个人 只专注做一件事情的小团队
他想要重新拥有一支只有十来个人、只专注做一件事情的小团队。
数字与实体
| 谷歌大脑猫脸实验处理器核心数 | 16000 个 | 9:07 |
| 谷歌自研芯片从启动到进机房 | 15 个月 | 14:11 |
| 谷歌收购 DeepMind 价格 | 约 6 亿多美元 | 36:32 |
| AlphaGo 对战李世石全球观看人数 | 2 亿人 | 41:34 |
| DeepMind 2018 至 2019 两年亏损 | 将近 10 亿英镑 | 1:28:12 |
| 谷歌大脑训练 BERT 使用 TPU 数量 | 64 块 | 1:28:12 |
| DeepMind 下国际象棋占用 TPU 数量 | 5000 块 | 1:28:12 |
| 谷歌回购沙泽尔团队花费 | 约 27 亿美元 | 1:52:23 |
术语
- Transformer变换器架构
- 谷歌 2017 年论文提出的神经网络架构，用注意力机制取代逐词传递，支持大规模并行训练。
- TPU张量处理单元
- 谷歌为神经网络专门设计的自研芯片，2015 年装进数据中心。
- 强化学习强化学习
- 让智能体在行动中试错、根据反馈调整策略的方法，AlphaGo 靠它学会下围棋。
- 稀疏模型稀疏模型
- 把模型拆成多个小网络，每次只调用其中一两个，参数总量大但单次计算量小。
- 思维链思维链
- 让模型先示范推理过程再给答案，正确率能提高好几倍。
- NeoLab新实验室
- 行业对离开大公司后新办、把研究放在产品前面的实验室的称呼。
收听指南
适合关注大模型竞争格局的创业者和投资人，尤其是想理解为什么技术领先不等于产品领先、组织内耗如何吃掉先发优势的人。
19:16 到 24:23 哈萨比斯童年和 DeepMind 创立的部分可以快进，信息密度低于后半段。