世界太吵,来原声听播客

晚点聊

预训练的新意正在变少,但把Scaling搬进AI制药才刚开始

字节的蛋白质结构设计模型只用2650万个结构数据就训出900兆参数模型,而公开结构数据有13亿个——算力而不是数据,才是AI制药现在最大的瓶颈。

AI制药Scaling预训练字节跳动蛋白质结构设计创业融资

原视频在 YouTube 上放不出来,用音频听:

后半段关于训飞成本、字节禁止蒸馏、湿实验室商业模式的内容信息量最大,前段组织架构细节可快进,不建议整体跳过。

核心论点 · 点时间戳可跳到原声

2:52

字节内部三支AI制药团队各自为战

顾全全带领Bytedance Research下的AI制药团队,同时字节内部还有另两个独立团队:一个做小分子,一个后来从小分子转向蛋白、做出了ProteinX系列模型。三个团队隶属不同一级部门,互不汇报,长期各自探索、overlap不大。转折点是Try2出现:顾全全判断如果不快速切换技术路线跟进,就是「嗅觉不够灵敏」,于是六个月内从SeedFold做到SeedPro2反超Try2,三个团队的工作范围开始重叠,但公司层面并未强制合并,而是让快速反应的团队自然跑出来。

— 顾全全
14:04

Try2让蛋白质设计第一次有了看得见的成功率

Try2是促使顾全全押注AI制药Scaling方向的关键事件。它是一家创业公司Try Discovery Lab做的抗体/纳米抗体设计模型,把设计成功率做到10%-20%,远高于David Baker实验室此前千分之一的成功率,尽管它的底层结构预测能力还不如AlphaFold3。这让顾全全意识到,即便不是最强的结构预测模型,只要往结构设计方向改造,也能产生真正服务于制药的成果——于是字节团队跟进做出SeedFold(超越AlphaFold3)和SeedPro2,成功率做到70%-80%,亲和力是Try2的几十倍。

— 顾全全
28:20

「训飞」:模型越大,一次失败赔的越多

「训飞」指预训练中Loss或梯度突然大幅波动、或下游指标多日不涨,意味着训练失败,需要排查原因、回退重训。顾全全说去年下半年国内大公司和创业公司普遍遇到过这个问题,原因是模型规模和训练token量(从10T级跳到几十T级)上去后,训练周期更长,对优化器、normalization、稳定性的要求同步变高,任何细节没做对都可能放大成大损失。百亿参数级别的模型一旦训飞,损失大概是几千万美金级别,这是一个越来越重资产的游戏。

— 顾全全
37:00

字节禁止蒸馏:要当第一,不能跟别人屁股后面

顾全全确认,至少在他离职前,字节内部是禁止用蒸馏数据训练模型的。代价是模型能力短期内可能有差距;但好处是真正把高质量数据的生成方法研究透了,之后能持续产出高质量数据,而不是永远依赖别人已经蒸馏出来的结果。他把这比作足球队引进外援:短期能提升战绩,但解决不了梯队建设和青训这些更本质的问题。靠蒸馏可以稳居第一梯队,但做不到世界第一。

— 顾全全
46:28

预训练不是变简单了,是「求稳」让人觉得无聊

顾全全坦承到后期自己对预训练这件事「有点无聊」,但强调这不等于挑战变小,而是因为很多方案在团队里已经论证了几个月,最后选定的仍是几个月前就提出的那个——因为一项决策必须等到90%的人达成共识才能推进,哪怕有10%的人(包括他自己)更早就看清了方向,也不能自己冒进,否则失败成本太高、也会损害团队合作。这是组织层面求稳的代价,而不是技术本身没有空间。

— 顾全全
55:04

生物数据多、算力少:AI制药是Scaling的洼地

顾全全指出AI制药行业长期是「数据量大于算力能吃下去的量」:公开的蛋白质结构数据有13亿个,而SeedFold训练只用了其中2650万个、模型做到900兆参数;大多数AI制药团队算力规模只有小几千张卡,远未到万卡级别,数据再多也喂不进去。这正是他创业的论点:只要愿意堆算力,这个领域的技术护城河足够高——否则就和一堆几百张卡就能复现的传统BioTech公司没有区别。

— 顾全全
1:02:51

不自建湿实验室,算力集群等于闲置

顾全全认为湿实验室必须自建,而不能外包给CRO:模型设计出的候选分子必须经过实验验证才算数,如果验证环节依赖别人、配合不上Scaling所需的高通量速度,算力集群就会被「掐脖子」而空转。买卡成本约是租卡的三倍,跑三年以上自建更划算;自建一套湿实验室基础设施在美国大约要花几百万美元,远比算力便宜,但投资人一听到「算力六个月就要」那个数字规模,还是会被直接shock到。

— 顾全全
1:22:28

学界的「和气」可能只是在掩盖大家都很菜

顾全全把学界不鼓励同方向竞争的传统比作武侠门派「一团和气」——大家各自宣称自己的流派很厉害,互不踢馆。但他认为这种和气在AI快速迭代的时代已经难以为继:一旦有了Arena.ai这样的公开擂台,谁能打一上台就见分晓,不能打的流派立刻现出原形。工业界反而因为鼓励同方向正面竞争(都对着同一个GPT/Claude去PK第一),能更快暴露真实差距,而不是靠「做不一样的东西」把大家水平普遍不够的现实掩盖过去。

原话 · 已逐字校验

然后我们后来是到了去年6月份的时候 看到了Try Discovery Lab 他们发布Try2那个模型 然后它设计抗体 Band的成功率达到了10%20% 比之前David Baker实验室的千分之一的成功率要高不少

去年六月份我们看到Try Discovery Lab发布了Try2模型,它设计抗体,成功率达到了10%-20%,比David Baker实验室此前千分之一的成功率高不少。

顾全全5:03

如果哪个地方 细节上没做好 或者做错了 那可能它就会出现一些 比较大的一些失败

如果哪个地方细节上没做好或者做错了,就可能出现比较大的失败。

顾全全28:20

可能就几千万美金 所以这是一个越来越重资产的游戏

可能就是几千万美金,所以这是一个越来越重资产的游戏。

顾全全29:20

好处的话 可能就是说在某些方面 可能你模型能力在短期之内 可能会有些差距 这个是代价 但是好处就是说 你把这个事情做扎实了 真正从本质上 把这个问题找到了它的原因了 然后把这个东西解决了 那你之后 那你就变得更强了

好处是说,在某些方面你模型能力短期内可能会有些差距,这是代价;但好处是你把事情做扎实了,真正从本质上找到了问题的原因并解决了它,之后你就变得更强了。

顾全全37:26

你要做世界上第一最牛 那你必须要figure out别人是怎么样 生成这种高这样数据的 这个我觉得是一个就是说最本质的事情

你要做世界上最牛的第一,就必须搞清楚别人是怎么生成那种高质量数据的,这才是最本质的事情。

顾全全38:26

就我自己比如说到了后期 我对这个事情本身是有点 觉得有点无聊 我确实有一点点无聊

就我自己来说,到了后期我对这件事本身有点觉得无聊,我确实有一点点无聊。

顾全全46:35

但是我直接跟他说 我算力六个月就要一千二美金的时候 别人直接就被shock到了

但我直接跟他说,我算力六个月就要那么大一笔钱的时候,别人直接就被震惊到了。

顾全全1:05:47

那你刚才说的 其实是它 你觉得可能不利的一面 就是我们以一种 差异化的方式 可能掩盖了 大家都有点菜的 这个现实

你刚才说的其实是它可能不利的一面:我们用一种差异化的方式,可能掩盖了大家都有点菜的这个现实。

曼琪1:22:28

数字与实体

SeedFold模型参数量900兆(AlphaFold为400兆)7:03
Try2抗体设计成功率10%-20%(David Baker实验室约千分之一)5:03
SeedPro2设计成功率70%-80%,亲和力约为Try2的几十倍7:03
百亿参数级模型训飞损失约几千万美金29:20
自建湿实验室基础设施成本约几百万美元(美国)1:05:47

术语

训飞训飞/训炸
预训练中Loss或梯度突然大幅波动、训练失败,需回退重训
Try2Try2
Try Discovery Lab发布的抗体/蛋白质结构设计模型,成功率大幅超过此前方法
Scaling LawScaling Law
通过扩大模型与数据规模来预测和提升模型能力的规律

收听指南

谁该听

关注AI制药/AI for Science投资机会的投资人,以及想理解大模型预训练组织分工与训练失败成本的工程师、创业者。

可跳过

32:52-35:25附近有一段语音转写明显错乱、无实质内容,可直接跳过。