機器人不該只學動作，而要先學會預測整個世界
Dyna 的世界行動模型讓機器人先在想像裡生成未來視頻，再據此生成動作，創始人稱之為機器人版的思維鏈，也是它和 VLA 路線的根本分歧。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
世界行動模型：動作之前先預測未來
Dyna-2 用一個模型，既預測未來的視頻或世界狀態，又據此生成機器人動作。Jason Ma 說這類似人類大腦隱式地推演「我這麼做之後世界會怎樣」,然後才行動。他把這個機制比作思維鏈——模型先在視覺和物理空間裡推理，再輸出動作，這讓機器人更靈巧、更穩健，也更能應對訓練中沒見過的場景。
— Jason Ma機器人沒有互聯網，數據得自己造
語言模型靠互聯網文本預訓練，機器人沒有對應的海量語料，每家公司都得自己想辦法拿數據。Jason Ma 說光靠自己收集遠遠不夠，就像只靠 Reddit 或 Facebook 想造一個互聯網。於是 Dyna 的策略是用人類第一視角視頻打底，覆蓋幾乎所有物理操作場景，再用少量、昂貴得多的真實機器人數據做適配，彌合人類動作和機器人執行之間的差距。
— Jason Ma用前沿模型造數據，機器人自己訓練自己
Jason Ma 在 NVIDIA 期間做過 Eureka 項目，用 GPT-4 自動生成仿真環境和獎勵函數訓練機械手轉筆，當時效果有限，因為模型沒有真正的視覺和三維理解。現在前沿模型具備了 CAD、三維重建能力，他認為合成數據到了真正能用的臨界點。更進一步，Dyna 自己的世界行動模型本身就能生成視頻，模型可以生產自己的訓練數據，形成自我強化的飛輪。
— Jason Ma延遲容不得商量：機器人必須本地推理
語言模型等幾秒沒關係，但機器人不能拿著刀愣在那三秒，動態任務比如打網球更是等不起重力和物理規律。所以最終部署的模型必須足夠小，能在本地實時推理，不能依賴雲端網絡請求。但這不代表訓練階段的模型也要小——做法是先訓練儘可能大的模型，再蒸餾出能上機的小模型，這條路徑語言模型已經走過，機器人正在復刻。
— Jason Ma稀土磁體之類的卡點，比算法更被低估
Dyna 是全棧公司，激光雷達、攝像頭這類成熟部件直接買，但執行器決定了機器人能否被精確建模，所以要自研。Swyx 提到稀土磁體幾乎被兩個國家壟斷，Jason Ma 承認即便把組裝搬回美國，原材料依然得從全球採購，供應鏈有多長，從零到一就有多難。他認為行業討論過度集中在模型和數據，硬件難度被嚴重低估。
— Jason Ma選輪子不選腿：安全和能耗壓過仿人外形
Dyna 的機器人是半人形——上半身有肩、臂和四自由度腰部，下半身卻是輪子。Jason Ma 的理由是腿式機器人能耗高、不穩定，安全性目前根本無法保證，社交媒體上那些跳舞機器人經常摔倒就是證據。但腰部的扭轉自由度被特意保留，因為人類日常幾乎所有動作都靠腰背發力，機器人要從人類數據裡學習動作，就必須有對應的身體自由度來承接這種遷移。
— Jason Ma酒店鋪一個點不難，難的是客戶要求全國推廣
Dyna 在 Best Western 疊浴巾，在鼎泰豐多個門店疊餐巾、未來還要切菜。Jason Ma 強調行業裡很多公司只做了一個點位的試點，真正難的是客戶驗證價值後主動要求把機器人鋪到自己所有門店，這件事據他所知在通用機器人公司裡此前沒有發生過。鼎泰豐不同門店原本疊法不一致，機器人反而帶來了客戶真正想要的一致性，這也是鼎泰豐後續追加合同、要求機器人做切菜任務的原因。
— Jason Ma該學原始世界，還是學抽象動作？
Jason Ma 把 Dyna 的架構和 VLA 路線對比：VLA 本質上是在預測某種抽象表示，這意味著工程師自己決定了什麼重要、什麼該被編碼，帶進了人類偏見。他認為更第一性原理的做法是直接預測最原始的攝像頭輸入，讓模型自己決定哪些信息重要。但他也承認這個判斷可能出錯——如果觸覺、聲音這類模態比視覺更關鍵、更省數據，純視覺的世界模型可能被趕超，只是他認為機器人公司比單純做視頻生成再轉型的公司更懂怎麼融合這些傳感模態。
— Jason Ma原話 · 已逐字校驗
in our brain, we are implicitly thinking about how the world will evolve based on our actions. So now we have a model architecture that’s able to do that to guide robot actions.
在我們大腦裡，我們一直在隱式地推演自己的行動會怎樣讓世界演變。現在我們有了一個能做到這一點的模型架構，用來引導機器人的動作。
Jason Ma0:00
So I think data is the most important thing in robotics today, because unlike language model, there is no internet, right? So every company that’s building model, building hardware has to think about data.
我認為數據是今天機器人領域最重要的事，因為和語言模型不一樣，機器人沒有對應的互聯網。所以每一家做模型、做硬件的公司都必須自己想數據的問題。
Jason Ma8:19
It’s kind of like humans, you know. If, Sean or me, we go work at Rosewood Hotel tomorrow, we are not gonna be able to make the bed the way they want, right? We need a lot of training.
這就像人一樣。如果 Sean 或者我明天去 Rosewood 酒店上班，我們也沒法按他們要求的方式鋪床，對吧？我們需要很多訓練。
Jason Ma12:26
The robot needs to act. Like, it can’t just hold a knife and not do anything for three seconds. That’s gonna freak people out, right?
機器人必須馬上行動。它不能拿著刀愣在那三秒鐘什麼都不做，那會把人嚇壞的，對吧？
Jason Ma17:38
So our robots today fold thousands of napkins for many different locations, many different Din Tai Fung locations in the United States. So that’s actually our biggest scaled customer, right?
我們的機器人現在每天為很多不同地點、美國很多不同的鼎泰豐門店疊幾千塊餐巾。這其實是我們規模最大的客戶。
Jason Ma37:09
And the bigger lesson tells you, let’s remove human biases. Let’s just take the most raw representation, the camera inputs, and just predict all of that right?
苦澀教訓告訴你的是，去掉人類的偏見，直接拿最原始的表示，也就是攝像頭輸入，去預測全部內容。
Jason Ma54:07
The search space is larger than the total number of atoms in the world. How could you possibly search for solutions in that?
這個搜索空間比世界上原子的總數還大，你怎麼可能在裡面搜出解法？
Jason Ma59:17
數字與實體
| Dyna-2 訓練數據量 | 超過100萬小時 | 0:00 |
| 洗衣全流程耗時 | 約1小時 | 33:06 |
| 切菜任務訓練數據量 | 約45分鐘 | 29:35 |
| 明年部署目標 | 數百臺機器人 | 51:18 |
| 硬件團隊佔比 / 模型團隊人數 | 約30%-40% / 約10人 | 1:06:44 |
術語
- World Action Model世界行動模型
- 既預測未來視頻或世界狀態、又輸出機器人動作的模型架構
- Diffusion Transformer擴散變換器
- 用transformer處理數據、用擴散過程從噪聲逐步生成精細動作的架構
- Flow Matching流匹配
- 擴散模型的簡化變體，調度更簡單、生成步數更少
- VLA (Vision-Language-Action model)視覺-語言-動作模型
- 把視覺語言模型改造成直接輸出機器人動作的架構
- EurekaEureka 項目
- 用大語言模型自動生成仿真環境和獎勵函數訓練機器人的研究項目
- Distillation模型蒸餾
- 先訓練大模型，再壓縮出能在機器人本地實時運行的小模型
收聽指南
關注具身智能和機器人創業的工程師、投資人，想了解世界模型架構之爭、數據策略與硬件全棧打法的人
全程信息密度均勻，若時間有限可跳過結尾關於公司名字來源的閒聊部分