机器人不该只学动作，而要先学会预测整个世界
Dyna 的世界行动模型让机器人先在想象里生成未来视频，再据此生成动作，创始人称之为机器人版的思维链，也是它和 VLA 路线的根本分歧。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
世界行动模型：动作之前先预测未来
Dyna-2 用一个模型，既预测未来的视频或世界状态，又据此生成机器人动作。Jason Ma 说这类似人类大脑隐式地推演「我这么做之后世界会怎样」,然后才行动。他把这个机制比作思维链——模型先在视觉和物理空间里推理，再输出动作，这让机器人更灵巧、更稳健，也更能应对训练中没见过的场景。
— Jason Ma机器人没有互联网，数据得自己造
语言模型靠互联网文本预训练，机器人没有对应的海量语料，每家公司都得自己想办法拿数据。Jason Ma 说光靠自己收集远远不够，就像只靠 Reddit 或 Facebook 想造一个互联网。于是 Dyna 的策略是用人类第一视角视频打底，覆盖几乎所有物理操作场景，再用少量、昂贵得多的真实机器人数据做适配，弥合人类动作和机器人执行之间的差距。
— Jason Ma用前沿模型造数据，机器人自己训练自己
Jason Ma 在 NVIDIA 期间做过 Eureka 项目，用 GPT-4 自动生成仿真环境和奖励函数训练机械手转笔，当时效果有限，因为模型没有真正的视觉和三维理解。现在前沿模型具备了 CAD、三维重建能力，他认为合成数据到了真正能用的临界点。更进一步，Dyna 自己的世界行动模型本身就能生成视频，模型可以生产自己的训练数据，形成自我强化的飞轮。
— Jason Ma延迟容不得商量：机器人必须本地推理
语言模型等几秒没关系，但机器人不能拿着刀愣在那三秒，动态任务比如打网球更是等不起重力和物理规律。所以最终部署的模型必须足够小，能在本地实时推理，不能依赖云端网络请求。但这不代表训练阶段的模型也要小——做法是先训练尽可能大的模型，再蒸馏出能上机的小模型，这条路径语言模型已经走过，机器人正在复刻。
— Jason Ma稀土磁体之类的卡点，比算法更被低估
Dyna 是全栈公司，激光雷达、摄像头这类成熟部件直接买，但执行器决定了机器人能否被精确建模，所以要自研。Swyx 提到稀土磁体几乎被两个国家垄断，Jason Ma 承认即便把组装搬回美国，原材料依然得从全球采购，供应链有多长，从零到一就有多难。他认为行业讨论过度集中在模型和数据，硬件难度被严重低估。
— Jason Ma选轮子不选腿：安全和能耗压过仿人外形
Dyna 的机器人是半人形——上半身有肩、臂和四自由度腰部，下半身却是轮子。Jason Ma 的理由是腿式机器人能耗高、不稳定，安全性目前根本无法保证，社交媒体上那些跳舞机器人经常摔倒就是证据。但腰部的扭转自由度被特意保留，因为人类日常几乎所有动作都靠腰背发力，机器人要从人类数据里学习动作，就必须有对应的身体自由度来承接这种迁移。
— Jason Ma酒店铺一个点不难，难的是客户要求全国推广
Dyna 在 Best Western 叠浴巾，在鼎泰丰多个门店叠餐巾、未来还要切菜。Jason Ma 强调行业里很多公司只做了一个点位的试点，真正难的是客户验证价值后主动要求把机器人铺到自己所有门店，这件事据他所知在通用机器人公司里此前没有发生过。鼎泰丰不同门店原本叠法不一致，机器人反而带来了客户真正想要的一致性，这也是鼎泰丰后续追加合同、要求机器人做切菜任务的原因。
— Jason Ma该学原始世界，还是学抽象动作？
Jason Ma 把 Dyna 的架构和 VLA 路线对比：VLA 本质上是在预测某种抽象表示，这意味着工程师自己决定了什么重要、什么该被编码，带进了人类偏见。他认为更第一性原理的做法是直接预测最原始的摄像头输入，让模型自己决定哪些信息重要。但他也承认这个判断可能出错——如果触觉、声音这类模态比视觉更关键、更省数据，纯视觉的世界模型可能被赶超，只是他认为机器人公司比单纯做视频生成再转型的公司更懂怎么融合这些传感模态。
— Jason Ma原话 · 已逐字校验
in our brain, we are implicitly thinking about how the world will evolve based on our actions. So now we have a model architecture that’s able to do that to guide robot actions.
在我们大脑里，我们一直在隐式地推演自己的行动会怎样让世界演变。现在我们有了一个能做到这一点的模型架构，用来引导机器人的动作。
Jason Ma0:00
So I think data is the most important thing in robotics today, because unlike language model, there is no internet, right? So every company that’s building model, building hardware has to think about data.
我认为数据是今天机器人领域最重要的事，因为和语言模型不一样，机器人没有对应的互联网。所以每一家做模型、做硬件的公司都必须自己想数据的问题。
Jason Ma8:19
It’s kind of like humans, you know. If, Sean or me, we go work at Rosewood Hotel tomorrow, we are not gonna be able to make the bed the way they want, right? We need a lot of training.
这就像人一样。如果 Sean 或者我明天去 Rosewood 酒店上班，我们也没法按他们要求的方式铺床，对吧？我们需要很多训练。
Jason Ma12:26
The robot needs to act. Like, it can’t just hold a knife and not do anything for three seconds. That’s gonna freak people out, right?
机器人必须马上行动。它不能拿着刀愣在那三秒钟什么都不做，那会把人吓坏的，对吧？
Jason Ma17:38
So our robots today fold thousands of napkins for many different locations, many different Din Tai Fung locations in the United States. So that’s actually our biggest scaled customer, right?
我们的机器人现在每天为很多不同地点、美国很多不同的鼎泰丰门店叠几千块餐巾。这其实是我们规模最大的客户。
Jason Ma37:09
And the bigger lesson tells you, let’s remove human biases. Let’s just take the most raw representation, the camera inputs, and just predict all of that right?
苦涩教训告诉你的是，去掉人类的偏见，直接拿最原始的表示，也就是摄像头输入，去预测全部内容。
Jason Ma54:07
The search space is larger than the total number of atoms in the world. How could you possibly search for solutions in that?
这个搜索空间比世界上原子的总数还大，你怎么可能在里面搜出解法？
Jason Ma59:17
数字与实体
| Dyna-2 训练数据量 | 超过100万小时 | 0:00 |
| 洗衣全流程耗时 | 约1小时 | 33:06 |
| 切菜任务训练数据量 | 约45分钟 | 29:35 |
| 明年部署目标 | 数百台机器人 | 51:18 |
| 硬件团队占比 / 模型团队人数 | 约30%-40% / 约10人 | 1:06:44 |
术语
- World Action Model世界行动模型
- 既预测未来视频或世界状态、又输出机器人动作的模型架构
- Diffusion Transformer扩散变换器
- 用transformer处理数据、用扩散过程从噪声逐步生成精细动作的架构
- Flow Matching流匹配
- 扩散模型的简化变体，调度更简单、生成步数更少
- VLA (Vision-Language-Action model)视觉-语言-动作模型
- 把视觉语言模型改造成直接输出机器人动作的架构
- EurekaEureka 项目
- 用大语言模型自动生成仿真环境和奖励函数训练机器人的研究项目
- Distillation模型蒸馏
- 先训练大模型，再压缩出能在机器人本地实时运行的小模型
收听指南
关注具身智能和机器人创业的工程师、投资人，想了解世界模型架构之争、数据策略与硬件全栈打法的人
全程信息密度均匀，若时间有限可跳过结尾关于公司名字来源的闲聊部分