預訓練的新意正在變少,但把Scaling搬進AI製藥才剛開始
字節的蛋白質結構設計模型只用2650萬個結構數據就訓出900兆參數模型,而公開結構數據有13億個——算力而不是數據,才是AI製藥現在最大的瓶頸。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
字節內部三支AI製藥團隊各自為戰
顧全全帶領Bytedance Research下的AI製藥團隊,同時字節內部還有另兩個獨立團隊:一個做小分子,一個後來從小分子轉向蛋白、做出了ProteinX系列模型。三個團隊隸屬不同一級部門,互不彙報,長期各自探索、overlap不大。轉折點是Try2出現:顧全全判斷如果不快速切換技術路線跟進,就是「嗅覺不夠靈敏」,於是六個月內從SeedFold做到SeedPro2反超Try2,三個團隊的工作範圍開始重疊,但公司層面並未強制合併,而是讓快速反應的團隊自然跑出來。
— 顧全全Try2讓蛋白質設計第一次有了看得見的成功率
Try2是促使顧全全押注AI製藥Scaling方向的關鍵事件。它是一家創業公司Try Discovery Lab做的抗體/納米抗體設計模型,把設計成功率做到10%-20%,遠高於David Baker實驗室此前千分之一的成功率,儘管它的底層結構預測能力還不如AlphaFold3。這讓顧全全意識到,即便不是最強的結構預測模型,只要往結構設計方向改造,也能產生真正服務於製藥的成果——於是字節團隊跟進做出SeedFold(超越AlphaFold3)和SeedPro2,成功率做到70%-80%,親和力是Try2的幾十倍。
— 顧全全「訓飛」:模型越大,一次失敗賠的越多
「訓飛」指預訓練中Loss或梯度突然大幅波動、或下游指標多日不漲,意味著訓練失敗,需要排查原因、回退重訓。顧全全說去年下半年國內大公司和創業公司普遍遇到過這個問題,原因是模型規模和訓練token量(從10T級跳到幾十T級)上去後,訓練週期更長,對優化器、normalization、穩定性的要求同步變高,任何細節沒做對都可能放大成大損失。百億參數級別的模型一旦訓飛,損失大概是幾千萬美金級別,這是一個越來越重資產的遊戲。
— 顧全全字節禁止蒸餾:要當第一,不能跟別人屁股後面
顧全全確認,至少在他離職前,字節內部是禁止用蒸餾數據訓練模型的。代價是模型能力短期內可能有差距;但好處是真正把高質量數據的生成方法研究透了,之後能持續產出高質量數據,而不是永遠依賴別人已經蒸餾出來的結果。他把這比作足球隊引進外援:短期能提升戰績,但解決不了梯隊建設和青訓這些更本質的問題。靠蒸餾可以穩居第一梯隊,但做不到世界第一。
— 顧全全預訓練不是變簡單了,是「求穩」讓人覺得無聊
顧全全坦承到後期自己對預訓練這件事「有點無聊」,但強調這不等於挑戰變小,而是因為很多方案在團隊裡已經論證了幾個月,最後選定的仍是幾個月前就提出的那個——因為一項決策必須等到90%的人達成共識才能推進,哪怕有10%的人(包括他自己)更早就看清了方向,也不能自己冒進,否則失敗成本太高、也會損害團隊合作。這是組織層面求穩的代價,而不是技術本身沒有空間。
— 顧全全生物數據多、算力少:AI製藥是Scaling的窪地
顧全全指出AI製藥行業長期是「數據量大於算力能吃下去的量」:公開的蛋白質結構數據有13億個,而SeedFold訓練只用了其中2650萬個、模型做到900兆參數;大多數AI製藥團隊算力規模只有小几千張卡,遠未到萬卡級別,數據再多也喂不進去。這正是他創業的論點:只要願意堆算力,這個領域的技術護城河足夠高——否則就和一堆幾百張卡就能復現的傳統BioTech公司沒有區別。
— 顧全全不自建溼實驗室,算力集群等於閒置
顧全全認為溼實驗室必須自建,而不能外包給CRO:模型設計出的候選分子必須經過實驗驗證才算數,如果驗證環節依賴別人、配合不上Scaling所需的高通量速度,算力集群就會被「掐脖子」而空轉。買卡成本約是租卡的三倍,跑三年以上自建更划算;自建一套溼實驗室基礎設施在美國大約要花幾百萬美元,遠比算力便宜,但投資人一聽到「算力六個月就要」那個數字規模,還是會被直接shock到。
— 顧全全學界的「和氣」可能只是在掩蓋大家都很菜
顧全全把學界不鼓勵同方向競爭的傳統比作武俠門派「一團和氣」——大家各自宣稱自己的流派很厲害,互不踢館。但他認為這種和氣在AI快速迭代的時代已經難以為繼:一旦有了Arena.ai這樣的公開擂臺,誰能打一上臺就見分曉,不能打的流派立刻現出原形。工業界反而因為鼓勵同方向正面競爭(都對著同一個GPT/Claude去PK第一),能更快暴露真實差距,而不是靠「做不一樣的東西」把大家水平普遍不夠的現實掩蓋過去。
原話 · 已逐字校驗
然後我們後來是到了去年6月份的時候 看到了Try Discovery Lab 他們發布Try2那個模型 然後它設計抗體 Band的成功率達到了10%20% 比之前David Baker實驗室的千分之一的成功率要高不少
去年六月份我們看到Try Discovery Lab發布了Try2模型,它設計抗體,成功率達到了10%-20%,比David Baker實驗室此前千分之一的成功率高不少。
顧全全5:03
如果哪個地方 細節上沒做好 或者做錯了 那可能它就會出現一些 比較大的一些失敗
如果哪個地方細節上沒做好或者做錯了,就可能出現比較大的失敗。
顧全全28:20
可能就幾千萬美金 所以這是一個越來越重資產的遊戲
可能就是幾千萬美金,所以這是一個越來越重資產的遊戲。
顧全全29:20
好處的話 可能就是說在某些方面 可能你模型能力在短期之內 可能會有些差距 這個是代價 但是好處就是說 你把這個事情做紮實了 真正從本質上 把這個問題找到了它的原因了 然後把這個東西解決了 那你之後 那你就變得更強了
好處是說,在某些方面你模型能力短期內可能會有些差距,這是代價;但好處是你把事情做紮實了,真正從本質上找到了問題的原因並解決了它,之後你就變得更強了。
顧全全37:26
你要做世界上第一最牛 那你必須要figure out別人是怎麼樣 生成這種高這樣數據的 這個我覺得是一個就是說最本質的事情
你要做世界上最牛的第一,就必須搞清楚別人是怎麼生成那種高質量數據的,這才是最本質的事情。
顧全全38:26
就我自己比如說到了後期 我對這個事情本身是有點 覺得有點無聊 我確實有一點點無聊
就我自己來說,到了後期我對這件事本身有點覺得無聊,我確實有一點點無聊。
顧全全46:35
但是我直接跟他說 我算力六個月就要一千二美金的時候 別人直接就被shock到了
但我直接跟他說,我算力六個月就要那麼大一筆錢的時候,別人直接就被震驚到了。
顧全全1:05:47
那你剛才說的 其實是它 你覺得可能不利的一面 就是我們以一種 差異化的方式 可能掩蓋了 大家都有點菜的 這個現實
你剛才說的其實是它可能不利的一面:我們用一種差異化的方式,可能掩蓋了大家都有點菜的這個現實。
曼琪1:22:28
數字與實體
| SeedFold模型參數量 | 900兆(AlphaFold為400兆) | 7:03 |
| Try2抗體設計成功率 | 10%-20%(David Baker實驗室約千分之一) | 5:03 |
| SeedPro2設計成功率 | 70%-80%,親和力約為Try2的幾十倍 | 7:03 |
| 百億參數級模型訓飛損失 | 約幾千萬美金 | 29:20 |
| 自建溼實驗室基礎設施成本 | 約幾百萬美元(美國) | 1:05:47 |
術語
- 訓飛訓飛/訓炸
- 預訓練中Loss或梯度突然大幅波動、訓練失敗,需回退重訓
- Try2Try2
- Try Discovery Lab發布的抗體/蛋白質結構設計模型,成功率大幅超過此前方法
- Scaling LawScaling Law
- 通過擴大模型與數據規模來預測和提升模型能力的規律
收聽指南
關注AI製藥/AI for Science投資機會的投資人,以及想理解大模型預訓練組織分工與訓練失敗成本的工程師、創業者。
32:52-35:25附近有一段語音轉寫明顯錯亂、無實質內容,可直接跳過。