一场著名的虚拟细胞竞赛爆冷:线性模型打平了多数深度模型
一场顶级虚拟细胞竞赛证明,简单线性回归能打平许多深度学习模型——问题不在数据信息不够,而在评测指标和训练目标本身设计有问题。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
虚拟细胞升温,根源是测序通量而非算法突破
Biohub 刚宣布一笔联合 DOE、NIH、Meta、Google 的 18 亿美元合作,用来生成下一代虚拟细胞所需的多尺度生物数据。Fabian 认为行业重新关注虚拟细胞,第一大原因就是数据生成规模的爆发,而不是某个算法突破;但他也提醒,要警惕很多项目只是「给自己贴上 AI 的标签」而已,并没有真正解决药企需要的细胞类型特异性筛选问题。
— Fabian Theis一次实验测出1000万个转录组
过去的扰动实验里,细胞空间(有多少种细胞)远比扰动空间(对细胞做了什么处理)丰富,典型的只有「对照 vs 疾病」这种稀疏对比。Parse Bio 的「giga lab」在单次实验里测出了一千万个转录组,现在动辄上百种细胞系、上千种药物的全扰动组合被同时测量,扰动空间第一次变得和细胞空间一样丰富,这才真正让大规模扰动预测模型有了用武之地。
— Fabian Theis归纳偏置换不来更好预测,数据最后说了算
关于要不要在模型里加入人工先验(归纳偏置)换取可解释性和鲁棒性,Fabian 的立场很明确:文献已经反复证明,先验加得太强会牺牲预测力。他举 AlphaFold 为例——早期版本费力把分子的旋转不变性手工写进模型,后来的版本干脆让模型靠更多数据自己学出这种对称性,反而更灵活、效果更好。他认为长期看,更依赖数据、更少人工约束的模型会胜出,解释性只能是后验加上去的。
— Fabian Theis虚拟细胞的瓶颈是训练目标,不是数据本身
早期很多基础模型论文没有认真展示 scaling law,这才让简单模型能打平它们。但在更难的任务上(比如 NicheFormer 要求根据一个细胞的表达状态预测邻居细胞的状态),非线性模型才真正体现优势。Fabian 团队的 scConcept 模型如今已扩展到 3.5 亿个细胞、约一亿参数,覆盖 16 个物种,并已经开始观察到明确的 scaling 行为——这说明不是数据里没有信息,而是此前的训练目标和表征方式没有把信息真正利用起来。
— Fabian Theis虚拟细胞挑战赛爆冷:线性模型打平很多深度模型
Arc Institute 发起的 Virtual Cell Challenge 像一盆冷水:在细胞类型预测这类基础任务上,接近最优水平的其实就是逻辑回归;在扰动预测上,很多「花哨」的深度模型也没能明显超过简单线性模型。真正拿下冠军的方案基于 flow matching 这类非线性方法,证明复杂模型在更难任务上确实有用,但比赛本身固定的几个指标还被选手「钻空子」利用,这促使 Open Problems 联盟要求参赛者自己提交额外评测指标,才能真正暴露模型的细微差异。
— Fabian Theis德国创业不缺早期钱,缺能扛风险的后期VC
Fabian 认为德国/欧洲的创业初期资金(早期 VC、非稀释型资助)其实不缺,欧盟新设立的创业公司数量现在已经和美国相当,慕尼黑更是初创公司数量的欧洲重镇。但一到需要承担更大风险的 B 轮这类放大融资阶段,欧洲的大额 VC 就明显跟不上,很多团队因此把目光转向美国资本,这是欧洲深科技生态目前最明显的断层。
— Fabian Theis多数「虚拟细胞平台」公司最终悄悄转去做药
Fabian 观察到一个反复出现的模式:很多宣称「解码生物学」「构建虚拟细胞平台」的公司拿到大笔融资后,说不清楚具体怎么赚钱,最终都会转型变成「我们在做药」,因为投资人更能理解这个叙事。相比之下,他认为 Noetic 走的是更扎实的路线——护城河不只是模型本身,而是绑定了独特的扰动数据生成能力,比如他们团队与多家药企共建的 Cancer Organoid Perturbation Atlas,药企愿意为早期数据访问权直接付费。
— Fabian Theis下一步是让模型反过来告诉你该做哪个实验
Fabian 团队新发布的 Lab Compass 是一个逆生成模型:在已有正向世界模型的基础上,反过来告诉你为了达到某个目标细胞状态,需要在实验室里做什么。团队已经和剑桥一位做血液生成研究的合作者跑了三四轮「实验-建模-再实验」的快速闭环迭代,但他承认目前整个闭环离机器人自动化还太早,更多还停留在主动学习层面,终极目标是把整个实验环节也纳入强化学习闭环。
— Fabian Theis原话 · 已逐字校验
they had, like in a single experiment, ten million transcriptomes measured, right? I thought that was like, like next level stuff.
他们在单次实验里测出了一千万个转录组,我觉得这完全是次世代的水平。
Fabian Theis6:25
if we build in a priori inductive biases too strongly that we might lose predictive power, right?
如果我们把先验的归纳偏置加得太强,可能会损失预测能力,对吧?
Fabian Theis17:39
the honest learning from, from big scale machine learning is that at some point data beats human-made additional concepts in these models.
大规模机器学习带来的一个诚实的教训是:到了某个节点,数据会战胜模型里人为加入的额外概念。
Fabian Theis18:45
a field that is rushing towards the gold pot of the virtual cell, people sometimes maybe were not as careful with the baselines
在一个所有人都在冲向「虚拟细胞」这个金罐子的领域里,大家有时候对基线模型没有那么认真。
Fabian Theis26:11
Deep Learning is not needed for cell type prediction.
预测细胞类型不需要深度学习。
Fabian Theis27:14
I saw so many of these platform companies pivoting at some point to, "We make a drug."
我看到太多这类平台型公司最终都会转向——「我们在做一款药」。
Fabian Theis39:00
the, the ultimate vision being that we want to RL everything. We want to do RL also in, in, in, in this loop. It's a bit out there, but you know, I think we're, we're slowly getting there.
终极愿景是我们想把一切都做成强化学习——也想在这整个闭环里引入强化学习。这听起来有点超前,但我觉得我们正在慢慢接近它。
Fabian Theis49:45
数字与实体
| Biohub跨机构虚拟细胞数据计划 | 18亿美元 | 2:13 |
| Parse Bio单次实验测序规模 | 1000万个转录组 | 6:25 |
| scConcept多物种潜空间覆盖 | 16个物种 | 25:10 |
| Helmholtz Munich计算健康中心规模 | 约45个课题组长,500-600人 | 31:27 |
术语
- world model世界模型
- 能根据当前状态和动作预测下一状态的模型,这里特指预测细胞扰动后状态的模型
- bitter lesson苦涩的教训
- 指长期看更少人工先验、更多数据与算力的方法往往胜出
- organoid类器官
- 由干细胞在体外培养出的具有部分器官结构和功能的多细胞团块
- flow matching流匹配
- 一类通过学习连续变换路径来生成样本的生成模型方法
- Lab CompassLab Compass
- Fabian团队的逆生成模型,反推达到目标细胞状态所需的实验
收听指南
虚拟细胞/扰动预测方向的研究者、生物计算创业者,以及想看清德国生科创业生态的投资人。
开场两分钟的嘉宾履历与客套介绍可以跳过,不影响后面的内容理解。