英伟达研究副总裁：模型竞争终局是生态，不是击败对手
刘洺堉：模型能力终将趋同，英伟达做开源世界模型不是竞争而是铺路；物理 AI 的 GPT 时刻未到，但条件正在汇聚。
核心论点 · 点时间戳可跳到原声
Cosmos 团队规模与使命
刘洺堉介绍自己的头衔是研究副总裁兼 Cosmos Lab 副总裁，直属团队约八九十人，加上公司内其他做 Cosmos 相关工作的团队，总共有 200 到 300 人。他是整个 mission 的 owner，负责决定方向。他强调这是英伟达内部一个很重大的专案，投入这么多人员是因为「做出好的成果」需要这样的资源。这也说明世界模型在英伟达内部被提到了前所未有的高度，不只是研究项目，而是有明确产品使命的工程团队。
— 刘洺堉从研究员到 VP 的信任积累
刘洺堉说自己在英伟达前几年每年跳一级，可能是第一个从研究员做到 VP 的人。原因是他很早就进入英伟达，在还没有 AI 人才时帮助公司建立 AI 社区知名度、解释 AI 怎么影响公司，同时自己又喜欢落地，一步步获得信任。现在他带领的团队每天运算成本是几百万美金，公司能把这个规模交给他，正是长期对齐的结果。他强调对齐公司非常重要，纯粹的研究员想要 recognition，但管理者的 recognition 必须和公司利益一致。
— 刘洺堉Cosmos 立项与命名
Cosmos 在 2024 年 3 月左右决定要做，时点就在 Sora 之后。刘洺堉说 Sora 出来之前说服黄仁勋比较难，看到 Sora 之后就不难了，因为黄仁勋一眼就看出这件事对公司的影响。他和一群做生成式模型的研究员一起给黄仁勋写邮件，要求把世界模型做出来。黄仁勋把大家聚在一起开会，还要求每个人回去想产品名字。刘洺堉当时觉得黄仁勋会提出更好的名字，不想浪费力气，但黄仁勋坚持让他想，因为名字和产品定位相关。最后定了 Cosmos，目标不是做创作，而是解物理世界的问题。
— 刘洺堉从 22 个模型到一个模型
Cosmos 1 时代刘洺堉自己做估算，要满足各种客户需求，可能需要 22 个模型。他在和黄仁勋开会时汇报这个数字，黄仁勋用 Costco 的例子回应：当减少货品陈列数量之后，销售额反而提升了，因为太多选择会困惑消费者。刘洺堉也发现自己都分不清什么时候用 A、什么时候用 B，更别说外部使用者。同时每个模型都需要维护，模型越多迭代速度越慢。所以 Cosmos 2 到 3 是一个很大的 gap，从多个模型收敛成一个统一的世界模型，把理解、预测、生成、动作全部合在一起。
— 刘洺堉双塔设计是阶段性选择
Cosmos 3 采用双塔结构，一个塔处理离散信息负责理解，一个塔处理连续信息负责生成。刘洺堉解释这是现阶段很合理的选择，因为离散的 reasoning 和连续的 generation 分开，能让客户在做 post-training 时互不干扰。如果全部连在一起，客户调整生成分布时可能会破坏理解能力。但他直接说下一步目标是更简单，「为什么要两个塔，一个塔就够了」。他们正往单塔方向前进，但要同时考虑使用者是否容易上手，不能为了追求工程完美而牺牲可用性。最终架构还没定，要看部署成本哪个更优。
— 刘洺堉200 多人的组织怎么跑
Cosmos 3 的论文有 290 多人，不到 300。刘洺堉认为大团队的核心矛盾是：既要所有人目标一致，又要每个人都能自主做决定。如果只有少数决策者，进展会很慢；如果大家各自做决定但目标不一致，就会发散甚至赛马。他的做法是花很多心思设计团队合作方式，让资讯透明、每个人都有足够信息做正确决定，同时提供容错空间，因为人害怕犯错就不敢做决定。他还强调在论文出来之前，他就和主要 leader 讲清楚模型会长什么样，让所有人看到同一个愿景，就像篮球罚球前先想象球空心入网。
— 刘洺堉英伟达不裁员的管理文化
刘洺堉说英伟达没有末位淘汰，也不裁员。他在英伟达十年里没听到过裁员消息。他认为员工对公司有安全感和信任，才愿意说出在担心被淘汰的地方不敢说的话；如果所有人都抢着出头，反而不容易团结合作。缺点是当一项技术成熟时，员工需要时间学习新东西做转型，比直接裁掉再招新人慢。但公司得到的是员工信任和团结。黄仁勋在硅谷看过这么多风风雨雨，选择这种模式是深思熟虑的。英伟达跑马拉松，靠的是提前布局，比如 CUDA 就布局了十年。
— 刘洺堉黄仁勋：六边形战士与 Mission
刘洺堉用「六边形战士」形容黄仁勋：既能深入到 register 级别的计算机架构细节，也能讲 marketing 和定价，面面俱到。他回忆自己曾用「setting 不公平」解释落后于竞品，黄仁勋直接说「Are you kidding me? 实际上没有什么是公平的」，让他明白做研究要为目标创造条件，而不是找理由。黄仁勋的管理核心是 Mission is the boss，公司像一个有机体，当要往某个方向走时，不同团队的技能会自动对齐。他还提到黄仁勋每天读大量邮件、找信号、做优先级判断，这些都影响了他自己现在每半小时切换一个话题的工作方式。
— 刘洺堉原话 · 已逐字校验
我们做完cosmos一的时候，问那个jason要不要继续往下做。…然后janson跟我说，你就做到cosmos97。
我们做完 Cosmos 1 的时候，问 Jensen 要不要继续往下做。然后 Jensen 跟我说，你就做到 Cosmos 97。
刘洺堉1:36:54
我们认为一个好的物理世界的 model也要把action当成first citizen。…这是为什么我们把language哦video跟action合在一起建这个cosmo站。
我们认为一个好的物理世界的模型也要把 action 当成 first-class citizen。…… 这就是为什么我们把 language、video 和 action 合在一起建这个 Cosmos 模型。
刘洺堉2:02:11
你需要你的机器人会觉奥数问题吗？ 你需要有机器人会解这个co定的问题吗？
你需要你的机器人会解奥数问题吗？你需要有机器人会解 coding 的问题吗？
刘洺堉2:19:21
如果你可以跟我们一起合作啊，利用我们做的东西，那你可以走的更快更远。
如果你可以跟我们一起合作，利用我们做的东西，那你可以走得更快更远。
刘洺堉2:43:18
他每天都觉得公司只能要30天的现金流，嗯，30天后就要破产。
他每天都觉得公司只剩下 30 天的现金流，30 天后就要破产。
刘洺堉2:50:34
当没有所谓的末位淘汰的时候，大家也不会就是真的这么的啊就是这么担心被淘汰而抢出头。
当没有所谓的末位淘汰的时候，大家也不会真的这么担心被淘汰而抢出头。
刘洺堉2:53:48
你不需要击败你的对手。我不喜欢把他们当成是对手，喜欢把他当成是伙伴。
你不需要击败你的对手。我不喜欢把他们当成对手，喜欢把他们当成伙伴。
刘洺堉3:04:25
他那时候给我句话说，are you quietba.实际上没有什么是公平的。
他那时候给我句话说：Are you kidding me? 实际上没有什么是公平的。
刘洺堉3:08:41
数字与实体
| Cosmos 相关团队人数 | 200 到 300 人 | 4:40 |
| Cosmos 1 时代预估所需模型数 | 22 个 | 1:54:47 |
| Cosmos 3 论文作者数 | 290 多人，不到 300 | 2:31:45 |
| 刘洺堉团队每天运算成本 | 几百万美金 | 1:24:21 |
| Cosmos 迭代节奏与 97 代所需时间 | 每半年一代，做到 97 代还要 40 多年 | 2:29:45 |
| 加入英伟达时公司人数 | 不到 2 万人，现在 2 倍以上 | 2:50:34 |
术语
- Physical AI物理 AI
- 能感知物理世界并采取行动改变世界状态的 AI，如机器人和自动驾驶。
- World Foundation Model世界基座模型
- Cosmos 对自己的定位：为所有物理 AI 应用提供更底层的基础模型。
- Multimodal Transformer多模态 Transformer
- 统一处理文本、视频、音频和动作信号的 Transformer 架构，是 Cosmos 3 的核心。
- Dual-tower双塔架构
- 将离散理解信号和连续生成信号分开处理的双塔结构，Cosmos 3 的阶段性选择。
收听指南
关注世界模型、机器人和英伟达技术路线的创业者、投资人与工程师，尤其想理解英伟达为什么做开源模型的人。
开头前 20 分钟的求学与职业经历可加速，黄仁勋管理细节和 Cosmos 演进在后半段。