世界太吵,來原聲聽播客

晚點聊

預訓練的新意正在變少,但把Scaling搬進AI製藥才剛開始

字節的蛋白質結構設計模型只用2650萬個結構數據就訓出900兆參數模型,而公開結構數據有13億個——算力而不是數據,才是AI製藥現在最大的瓶頸。

AI製藥Scaling預訓練字節跳動蛋白質結構設計創業融資

原視頻在 YouTube 上放不出來,用音頻聽:

後半段關於訓飛成本、字節禁止蒸餾、溼實驗室商業模式的內容信息量最大,前段組織架構細節可快進,不建議整體跳過。

核心論點 · 點時間戳可跳到原聲

2:52

字節內部三支AI製藥團隊各自為戰

顧全全帶領Bytedance Research下的AI製藥團隊,同時字節內部還有另兩個獨立團隊:一個做小分子,一個後來從小分子轉向蛋白、做出了ProteinX系列模型。三個團隊隸屬不同一級部門,互不彙報,長期各自探索、overlap不大。轉折點是Try2出現:顧全全判斷如果不快速切換技術路線跟進,就是「嗅覺不夠靈敏」,於是六個月內從SeedFold做到SeedPro2反超Try2,三個團隊的工作範圍開始重疊,但公司層面並未強制合併,而是讓快速反應的團隊自然跑出來。

— 顧全全
14:04

Try2讓蛋白質設計第一次有了看得見的成功率

Try2是促使顧全全押注AI製藥Scaling方向的關鍵事件。它是一家創業公司Try Discovery Lab做的抗體/納米抗體設計模型,把設計成功率做到10%-20%,遠高於David Baker實驗室此前千分之一的成功率,儘管它的底層結構預測能力還不如AlphaFold3。這讓顧全全意識到,即便不是最強的結構預測模型,只要往結構設計方向改造,也能產生真正服務於製藥的成果——於是字節團隊跟進做出SeedFold(超越AlphaFold3)和SeedPro2,成功率做到70%-80%,親和力是Try2的幾十倍。

— 顧全全
28:20

「訓飛」:模型越大,一次失敗賠的越多

「訓飛」指預訓練中Loss或梯度突然大幅波動、或下游指標多日不漲,意味著訓練失敗,需要排查原因、回退重訓。顧全全說去年下半年國內大公司和創業公司普遍遇到過這個問題,原因是模型規模和訓練token量(從10T級跳到幾十T級)上去後,訓練週期更長,對優化器、normalization、穩定性的要求同步變高,任何細節沒做對都可能放大成大損失。百億參數級別的模型一旦訓飛,損失大概是幾千萬美金級別,這是一個越來越重資產的遊戲。

— 顧全全
37:00

字節禁止蒸餾:要當第一,不能跟別人屁股後面

顧全全確認,至少在他離職前,字節內部是禁止用蒸餾數據訓練模型的。代價是模型能力短期內可能有差距;但好處是真正把高質量數據的生成方法研究透了,之後能持續產出高質量數據,而不是永遠依賴別人已經蒸餾出來的結果。他把這比作足球隊引進外援:短期能提升戰績,但解決不了梯隊建設和青訓這些更本質的問題。靠蒸餾可以穩居第一梯隊,但做不到世界第一。

— 顧全全
46:28

預訓練不是變簡單了,是「求穩」讓人覺得無聊

顧全全坦承到後期自己對預訓練這件事「有點無聊」,但強調這不等於挑戰變小,而是因為很多方案在團隊裡已經論證了幾個月,最後選定的仍是幾個月前就提出的那個——因為一項決策必須等到90%的人達成共識才能推進,哪怕有10%的人(包括他自己)更早就看清了方向,也不能自己冒進,否則失敗成本太高、也會損害團隊合作。這是組織層面求穩的代價,而不是技術本身沒有空間。

— 顧全全
55:04

生物數據多、算力少:AI製藥是Scaling的窪地

顧全全指出AI製藥行業長期是「數據量大於算力能吃下去的量」:公開的蛋白質結構數據有13億個,而SeedFold訓練只用了其中2650萬個、模型做到900兆參數;大多數AI製藥團隊算力規模只有小几千張卡,遠未到萬卡級別,數據再多也喂不進去。這正是他創業的論點:只要願意堆算力,這個領域的技術護城河足夠高——否則就和一堆幾百張卡就能復現的傳統BioTech公司沒有區別。

— 顧全全
1:02:51

不自建溼實驗室,算力集群等於閒置

顧全全認為溼實驗室必須自建,而不能外包給CRO:模型設計出的候選分子必須經過實驗驗證才算數,如果驗證環節依賴別人、配合不上Scaling所需的高通量速度,算力集群就會被「掐脖子」而空轉。買卡成本約是租卡的三倍,跑三年以上自建更划算;自建一套溼實驗室基礎設施在美國大約要花幾百萬美元,遠比算力便宜,但投資人一聽到「算力六個月就要」那個數字規模,還是會被直接shock到。

— 顧全全
1:22:28

學界的「和氣」可能只是在掩蓋大家都很菜

顧全全把學界不鼓勵同方向競爭的傳統比作武俠門派「一團和氣」——大家各自宣稱自己的流派很厲害,互不踢館。但他認為這種和氣在AI快速迭代的時代已經難以為繼:一旦有了Arena.ai這樣的公開擂臺,誰能打一上臺就見分曉,不能打的流派立刻現出原形。工業界反而因為鼓勵同方向正面競爭(都對著同一個GPT/Claude去PK第一),能更快暴露真實差距,而不是靠「做不一樣的東西」把大家水平普遍不夠的現實掩蓋過去。

原話 · 已逐字校驗

然後我們後來是到了去年6月份的時候 看到了Try Discovery Lab 他們發布Try2那個模型 然後它設計抗體 Band的成功率達到了10%20% 比之前David Baker實驗室的千分之一的成功率要高不少

去年六月份我們看到Try Discovery Lab發布了Try2模型,它設計抗體,成功率達到了10%-20%,比David Baker實驗室此前千分之一的成功率高不少。

顧全全5:03

如果哪個地方 細節上沒做好 或者做錯了 那可能它就會出現一些 比較大的一些失敗

如果哪個地方細節上沒做好或者做錯了,就可能出現比較大的失敗。

顧全全28:20

可能就幾千萬美金 所以這是一個越來越重資產的遊戲

可能就是幾千萬美金,所以這是一個越來越重資產的遊戲。

顧全全29:20

好處的話 可能就是說在某些方面 可能你模型能力在短期之內 可能會有些差距 這個是代價 但是好處就是說 你把這個事情做紮實了 真正從本質上 把這個問題找到了它的原因了 然後把這個東西解決了 那你之後 那你就變得更強了

好處是說,在某些方面你模型能力短期內可能會有些差距,這是代價;但好處是你把事情做紮實了,真正從本質上找到了問題的原因並解決了它,之後你就變得更強了。

顧全全37:26

你要做世界上第一最牛 那你必須要figure out別人是怎麼樣 生成這種高這樣數據的 這個我覺得是一個就是說最本質的事情

你要做世界上最牛的第一,就必須搞清楚別人是怎麼生成那種高質量數據的,這才是最本質的事情。

顧全全38:26

就我自己比如說到了後期 我對這個事情本身是有點 覺得有點無聊 我確實有一點點無聊

就我自己來說,到了後期我對這件事本身有點覺得無聊,我確實有一點點無聊。

顧全全46:35

但是我直接跟他說 我算力六個月就要一千二美金的時候 別人直接就被shock到了

但我直接跟他說,我算力六個月就要那麼大一筆錢的時候,別人直接就被震驚到了。

顧全全1:05:47

那你剛才說的 其實是它 你覺得可能不利的一面 就是我們以一種 差異化的方式 可能掩蓋了 大家都有點菜的 這個現實

你剛才說的其實是它可能不利的一面:我們用一種差異化的方式,可能掩蓋了大家都有點菜的這個現實。

曼琪1:22:28

數字與實體

SeedFold模型參數量900兆(AlphaFold為400兆)7:03
Try2抗體設計成功率10%-20%(David Baker實驗室約千分之一)5:03
SeedPro2設計成功率70%-80%,親和力約為Try2的幾十倍7:03
百億參數級模型訓飛損失約幾千萬美金29:20
自建溼實驗室基礎設施成本約幾百萬美元(美國)1:05:47

術語

訓飛訓飛/訓炸
預訓練中Loss或梯度突然大幅波動、訓練失敗,需回退重訓
Try2Try2
Try Discovery Lab發布的抗體/蛋白質結構設計模型,成功率大幅超過此前方法
Scaling LawScaling Law
通過擴大模型與數據規模來預測和提升模型能力的規律

收聽指南

誰該聽

關注AI製藥/AI for Science投資機會的投資人,以及想理解大模型預訓練組織分工與訓練失敗成本的工程師、創業者。

可跳過

32:52-35:25附近有一段語音轉寫明顯錯亂、無實質內容,可直接跳過。