世界太吵,来原声听播客

Latent Space

Flux Context 诞生于四小时训练的个人侧项目

这款被视为下一代图像编辑引擎的模型,最初只是一人用一个小数据集、几小时训练做出的侧项目,却意外跑出了通用的空间关系理解能力。

扩散模型图像生成机器人flow matching具身智能创业融资
想了解 Black Forest Labs 怎样从 Stability 分裂出来、又如何把图像生成的底层算法一路延伸到机器人动作预测,这期信息密度很高,值得完整听。

核心论点 · 点时间戳可跳到原声

31:03

SDXL的refiner,其实是个被废弃的失败模型

SDXL官方说法是用refiner专门修复皮肤、草地纹理这类高频细节。但Dustin透露,refiner其实是一版从未发布、架构不同、结构效果不佳的SDXL,被「废物利用」接上主模型做二段精修。Andreas补充,这也是业内较早观察到扩散轨迹「先学结构、后学高频细节」规律的实践之一。Dustin至今仍对这种拼接方案有点耿耿于怀,觉得当时是想让一个模型什么都好,结果变成了取巧的妥协。

— Dustin / Andreas
35:23

算法再好,数据差模型也学不出好结果

Andreas认为扩散模型本质是在估计一个概率分布,而这个分布完全由训练数据决定。即使用最好的算法训练,如果数据集平均模糊、运动量少,模型学出来的生成结果也一样模糊死板。他认为这是整个研究圈长期被低估的一点——学术界更关心在固定benchmark上调算法,前沿实验室却早就知道数据才是最重要的杠杆,这也是Stable Video Diffusion论文花大量篇幅讨论数据过滤和数据量-质量权衡的原因。

— Andreas
36:26

仅1000步微调,纯2D视频模型就学出了3D

Stable Video Diffusion论文里最让Andreas兴奋的实验不是数据质量与数量的取舍,而是:只在纯2D视频上预训练的模型,只需约1000步3D数据微调,就能输出不错的3D视角效果。这说明模型看了大量2D视频后已经隐式学到了遮挡、背面形状这类3D世界结构,不需要显式建3D模型也能理解它们——这也是BFL此后坚持只在自然信号上学习、不走显式3D建模路线的核心证据。

— Andreas
41:55

从diffusion切到flow matching,是简化而非妥协

SD3把算法从classic diffusion换成了flow matching(也叫rectified flow)。Andreas强调这不是精度让步:diffusion要求两个分布之间必有一个是标准正态分布,flow matching则可以在任意两个分布之间直接学一条「线」,数学上退化成求解常微分方程而不是随机微分方程,采样步数能大幅压缩。SD3同时也是团队第一次把U-Net换成diffusion transformer架构。

— Andreas / Dustin
59:12

Flux Context起点:一人、一个小数据集、四小时训练

Flux Context最初不是公司立项,而是Dustin在法国一次offsite上的个人提案:模型已经隐式学到了物体间的空间关系(帽子戴在狗头上、杯子放在桌上),专门构造描述这种关系的小数据集去微调,应该能用很少训练唤出通用的图像编辑能力。他找来一位数据同事,只做了一个高质量、简单描述空间关系的小数据集,训练约四到六个小时,模型立刻表现出清晰的泛化能力——能把logo贴到T恤上、换衣服颜色,尽管效果还很粗糙。这个侧项目后来变成持续数月的全公司项目。

— Dustin
1:14:14

自回归训练更省数据,扩散模型采样更快

关于自回归图像生成(Gemini、ChatGPT走的路线)和扩散模型哪个更优,两人认为这不是已有定论的问题。自回归模型能对所有token并行训练,数据效率更高;而扩散模型训练时从noise到data的轨迹上只采样一个点,相当于一个样本能生成无穷多训练样本,但采样阶段必须逐token生成,扩散模型则可以把50步蒸馏到4步大幅提速。两条路线目前都在高强度研究中,没有谁完全碾压谁。

— Andreas
1:21:48

机器人动作预测,只是给同一个模型加了一个维度

Flux.3 Action的做法是:先在图像、视频、音频上联合预训练出一个通用多模态模型,再把机器人手臂的六自由度状态(平移+旋转)当成一种新「模态」,和视频一起预测。模型本来就能推理视频接下来会怎样,只是多加了一个状态空间输出维度,训练上并不复杂。这套方法同样能迁移到电脑操作(computer use)和玩游戏上——都是同一套world action model在不同「身体」上运行。

— Andreas
1:24:58

新任务微调约四小时,目标是单次示范学会

把通用模型迁移到一个全新、没见过的机器人任务,只需几个小时的数据微调——团队举例对比开源的Pi0模型,达到同样成功率所需数据量少了八倍,大概四小时即可满足一个工业场景的基本要求。但这还不是终点:两人把2027年定为「破解单次示范学习」的目标年份——像人一样只看一次动作演示就能学会,这才是他们眼中真正「超人类」的视觉智能。

— Andreas / Dustin

原话 · 已逐字校验

At Stability that we couldn't essentially leverage the value of what the models could be as well as the mistakes of not being able to actually capture the value of the models themselves.

在Stability的时候,我们没法真正发挥出模型本身应有的价值,也没能把握住模型本身该捕获的价值。

Dustin0:50

It was maybe, like, six hours of training, four hours of training. It, it was, it was a very, very short training run, and all of a sudden, like, I saw what felt like a clear generality coming out of it, 'cause it was

大概是六个小时的训练,四个小时的训练。训练过程非常非常短,然后突然间,我感觉到一种清晰的通用性冒了出来,因为……

Dustin4:00

I guess the reason I, I still hold frustration, because at the time I wanted this one model to be so good at everything.

我想我到现在还有点耿耿于怀,因为当时我是想让这一个模型本身就能把所有事情都做得很好。

Dustin32:40

if you have the perfect algorithm, the best algorithm in the world that, that just learns anything you want, but your data is very bad and you have like on average blurry videos or images and like, like not a lot of motion in the videos, your model will learn that no matter how good your algorithm is.

就算你有最完美的算法,世界上最好的算法,想学什么都能学,但如果你的数据很差,平均来看视频或图像都很模糊、动作也很少,那不管你的算法有多好,模型学出来的就是这样。

Andreas35:23

BFL was not founded to be an image generation lab.

BFL当初成立的目的并不是做一家图像生成实验室。

Andreas52:37

this like video modeling is actually the central means to understanding how our world basically works.

视频建模其实才是理解我们这个世界到底如何运作的核心手段。

Andreas53:00

You should be showing a robot an action one time, and then it should be able to do this, and this would be truly a superhuman intelligence

你应该只给机器人演示一次某个动作,它就应该能做到——这才是真正意义上的超人类智能。

Andreas1:26:03

数字与实体

BFL累计融资4.5亿美元19:46
截至去年12月公开披露的年收入1亿美元(此后已超过)19:58
新机器人任务所需微调数据对比开源Pi0数据量少8倍,约4小时数据1:24:58
BFL成立时团队规模13-14人47:22

术语

flow matching / rectified flow流匹配/修正流
比diffusion更简单的生成建模方式,直接学习两个分布间的「直线」路径。
diffusion transformer (DiT)扩散transformer
用transformer替代传统U-Net作为扩散模型的骨干网络。
world action model世界动作模型
同时预测视频画面和机器人动作状态的多模态模型。
in-context learning (for robotics)机器人的情境学习
机器人无需微调,仅看一次示范动作就能执行的能力目标。
refiner (SDXL)精修模型
主模型生成后接一个模型专门修复高频细节的二段式生成流程。

收听指南

谁该听

做图像/视频生成产品的工程师、关注具身智能与机器人赛道的投资人,以及想理清扩散模型技术脉络的从业者。

可跳过

开场的播客自我介绍和中段Deepgram广告植入可以跳过。