Flux Context 誕生於四小時訓練的個人側項目
這款被視為下一代圖像編輯引擎的模型,最初只是一人用一個小數據集、幾小時訓練做出的側項目,卻意外跑出了通用的空間關係理解能力。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
SDXL的refiner,其實是個被廢棄的失敗模型
SDXL官方說法是用refiner專門修復皮膚、草地紋理這類高頻細節。但Dustin透露,refiner其實是一版從未發布、架構不同、結構效果不佳的SDXL,被「廢物利用」接上主模型做二段精修。Andreas補充,這也是業內較早觀察到擴散軌跡「先學結構、後學高頻細節」規律的實踐之一。Dustin至今仍對這種拼接方案有點耿耿於懷,覺得當時是想讓一個模型什麼都好,結果變成了取巧的妥協。
— Dustin / Andreas算法再好,數據差模型也學不出好結果
Andreas認為擴散模型本質是在估計一個概率分布,而這個分布完全由訓練數據決定。即使用最好的算法訓練,如果數據集平均模糊、運動量少,模型學出來的生成結果也一樣模糊死板。他認為這是整個研究圈長期被低估的一點——學術界更關心在固定benchmark上調算法,前沿實驗室卻早就知道數據才是最重要的槓桿,這也是Stable Video Diffusion論文花大量篇幅討論數據過濾和數據量-質量權衡的原因。
— Andreas僅1000步微調,純2D視頻模型就學出了3D
Stable Video Diffusion論文裡最讓Andreas興奮的實驗不是數據質量與數量的取捨,而是:只在純2D視頻上預訓練的模型,只需約1000步3D數據微調,就能輸出不錯的3D視角效果。這說明模型看了大量2D視頻後已經隱式學到了遮擋、背面形狀這類3D世界結構,不需要顯式建3D模型也能理解它們——這也是BFL此後堅持只在自然信號上學習、不走顯式3D建模路線的核心證據。
— Andreas從diffusion切到flow matching,是簡化而非妥協
SD3把算法從classic diffusion換成了flow matching(也叫rectified flow)。Andreas強調這不是精度讓步:diffusion要求兩個分布之間必有一個是標準正態分布,flow matching則可以在任意兩個分布之間直接學一條「線」,數學上退化成求解常微分方程而不是隨機微分方程,採樣步數能大幅壓縮。SD3同時也是團隊第一次把U-Net換成diffusion transformer架構。
— Andreas / DustinFlux Context起點:一人、一個小數據集、四小時訓練
Flux Context最初不是公司立項,而是Dustin在法國一次offsite上的個人提案:模型已經隱式學到了物體間的空間關係(帽子戴在狗頭上、杯子放在桌上),專門構造描述這種關係的小數據集去微調,應該能用很少訓練喚出通用的圖像編輯能力。他找來一位數據同事,只做了一個高質量、簡單描述空間關係的小數據集,訓練約四到六個小時,模型立刻表現出清晰的泛化能力——能把logo貼到T恤上、換衣服顏色,儘管效果還很粗糙。這個側項目後來變成持續數月的全公司項目。
— Dustin自迴歸訓練更省數據,擴散模型採樣更快
關於自迴歸圖像生成(Gemini、ChatGPT走的路線)和擴散模型哪個更優,兩人認為這不是已有定論的問題。自迴歸模型能對所有token並行訓練,數據效率更高;而擴散模型訓練時從noise到data的軌跡上只採樣一個點,相當於一個樣本能生成無窮多訓練樣本,但採樣階段必須逐token生成,擴散模型則可以把50步蒸餾到4步大幅提速。兩條路線目前都在高強度研究中,沒有誰完全碾壓誰。
— Andreas機器人動作預測,只是給同一個模型加了一個維度
Flux.3 Action的做法是:先在圖像、視頻、音頻上聯合預訓練出一個通用多模態模型,再把機器人手臂的六自由度狀態(平移+旋轉)當成一種新「模態」,和視頻一起預測。模型本來就能推理視頻接下來會怎樣,只是多加了一個狀態空間輸出維度,訓練上並不複雜。這套方法同樣能遷移到電腦操作(computer use)和玩遊戲上——都是同一套world action model在不同「身體」上運行。
— Andreas新任務微調約四小時,目標是單次示範學會
把通用模型遷移到一個全新、沒見過的機器人任務,只需幾個小時的數據微調——團隊舉例對比開源的Pi0模型,達到同樣成功率所需數據量少了八倍,大概四小時即可滿足一個工業場景的基本要求。但這還不是終點:兩人把2027年定為「破解單次示範學習」的目標年份——像人一樣只看一次動作演示就能學會,這才是他們眼中真正「超人類」的視覺智能。
— Andreas / Dustin原話 · 已逐字校驗
At Stability that we couldn't essentially leverage the value of what the models could be as well as the mistakes of not being able to actually capture the value of the models themselves.
在Stability的時候,我們沒法真正發揮出模型本身應有的價值,也沒能把握住模型本身該捕獲的價值。
Dustin0:50
It was maybe, like, six hours of training, four hours of training. It, it was, it was a very, very short training run, and all of a sudden, like, I saw what felt like a clear generality coming out of it, 'cause it was
大概是六個小時的訓練,四個小時的訓練。訓練過程非常非常短,然後突然間,我感覺到一種清晰的通用性冒了出來,因為……
Dustin4:00
I guess the reason I, I still hold frustration, because at the time I wanted this one model to be so good at everything.
我想我到現在還有點耿耿於懷,因為當時我是想讓這一個模型本身就能把所有事情都做得很好。
Dustin32:40
if you have the perfect algorithm, the best algorithm in the world that, that just learns anything you want, but your data is very bad and you have like on average blurry videos or images and like, like not a lot of motion in the videos, your model will learn that no matter how good your algorithm is.
就算你有最完美的算法,世界上最好的算法,想學什麼都能學,但如果你的數據很差,平均來看視頻或圖像都很模糊、動作也很少,那不管你的算法有多好,模型學出來的就是這樣。
Andreas35:23
BFL was not founded to be an image generation lab.
BFL當初成立的目的並不是做一家圖像生成實驗室。
Andreas52:37
this like video modeling is actually the central means to understanding how our world basically works.
視頻建模其實才是理解我們這個世界到底如何運作的核心手段。
Andreas53:00
You should be showing a robot an action one time, and then it should be able to do this, and this would be truly a superhuman intelligence
你應該只給機器人演示一次某個動作,它就應該能做到——這才是真正意義上的超人類智能。
Andreas1:26:03
數字與實體
| BFL累計融資 | 4.5億美元 | 19:46 |
| 截至去年12月公開披露的年收入 | 1億美元(此後已超過) | 19:58 |
| 新機器人任務所需微調數據對比開源Pi0 | 數據量少8倍,約4小時數據 | 1:24:58 |
| BFL成立時團隊規模 | 13-14人 | 47:22 |
術語
- flow matching / rectified flow流匹配/修正流
- 比diffusion更簡單的生成建模方式,直接學習兩個分布間的「直線」路徑。
- diffusion transformer (DiT)擴散transformer
- 用transformer替代傳統U-Net作為擴散模型的骨幹網絡。
- world action model世界動作模型
- 同時預測視頻畫面和機器人動作狀態的多模態模型。
- in-context learning (for robotics)機器人的情境學習
- 機器人無需微調,僅看一次示範動作就能執行的能力目標。
- refiner (SDXL)精修模型
- 主模型生成後接一個模型專門修復高頻細節的二段式生成流程。
收聽指南
做圖像/視頻生成產品的工程師、關注具身智能與機器人賽道的投資人,以及想理清擴散模型技術脈絡的從業者。
開場的播客自我介紹和中段Deepgram廣告植入可以跳過。