模型能認出分子出自哪位化學家，學到的是風格不是化學
給1815位化學家的分子做分類，模型靠作者風格就能猜中六成，卻學不到真實結合物理——這正是Leash堅持只用自產DEL數據訓練模型的原因。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
DNA條形碼讓百萬分子一管混著篩
DNA編碼庫（DEL）的做法是給每種小分子掛上一段DNA條形碼，把成百上千萬種分子混進同一管液體，用磁珠把目標蛋白當魚鉤「釣」出結合的分子，再靠測序讀出條形碼身份，省去逐管逐孔篩選的物理成本。目前做過的最大DEL庫含40萬億個分子，而傳統逐管篩選的最大化合物庫也才百萬級別。但這個行業裡幾乎人人都說這項技術做過都有心理創傷：假陽性（蛋白粘DNA而非粘分子）、建築塊標籤錯誤率高是常見坑。
— Ian Quigley最難的測試集上，沒人比瞎猜準
兩年前Leash自費做了一場Kaggle競賽測試業界到底能不能預測小分子結合，故意設計三檔難度：共享building block（簡單）、只共享triazine骨架（中等）、完全不同的化學庫（最難，且賽前未公開）。2000支隊伍參賽後，在最難的一檔上沒有一個人比瞎猜準——包括那些嘗試3D圖、球形卷積網絡等「更高級」分子表示法的隊伍，最樸素的SMILES文本表示反而效果最好。這讓Leash確信，整個領域對真正跨化學空間的結合預測幾乎還處於零理解階段。
— Ian Quigley模型認出化學家，認不出結合位點
Ian和聯合創始人在Recursion看一個分子時，一位化學家一眼認出是誰做的，這讓他們懷疑模型會不會也在學化學家本人的風格而非化學規律。他們下載了Chemble上1815位發表過30篇以上論文、600個以上分子的化學家的全部數據，訓練分類器僅憑分子結構預測作者身份，top5準確率達到60%。更關鍵的是，把這個1800維的「作者概率向量」當作分子的唯一表示，預測活性的效果和用真實化學結構一樣好，兩者結合也沒有明顯提升——說明模型學到的幾乎全是化學家的個人風格和社會學痕跡，而不是真實的結合物理。
— Ian Quigley結構模型滿分，可能只是認出了晶體庫
Leash用蛋白嵌入和分子嵌入做了極簡交叉注意力模型Hermes，專門用來快速做對照實驗。按building block相似度聚類劃分訓練測試集後，XGBoost性能隨分布外程度增加持續下降，Hermes卻保持相對穩定，這是泛化能力的證據。但另一組對照同樣揭穿了問題：當測試分子和蛋白（BRD4）恰好在PDB晶體庫裡出現過，結構模型Boltz幾乎滿分，而Hermes表現差，說明Boltz很可能只是記住了那張晶體結構，而不是真的理解了結合物理。
— Ian Quigley用基因編輯主動打斷口袋來驗證因果
為了證明模型是否真懂物理而非記憶，Leash會主動打斷結合口袋：先篩一遍野生型蛋白確認哪些分子能結合，再買一個已知佔據該口袋的競爭性小分子高濃度加進去，看哪些分子系列被擠出來，最後直接在DNA層面突變口袋裡的氨基酸、重新表達蛋白再篩一遍。如果同一批被競爭分子擠出去的分子系列，在口袋被突變後也消失了，而口袋以外結合的分子都還在，就有很強證據證明這些分子確實結合在那個具體口袋裡。這是他們一週能跑上百次的規模化實驗，而不是傳統藥化一輩子才驗證幾次的個例。
— Ian Quigley注意力機制在給蛋白記外號而非學化學
團隊原本期望Hermes的交叉注意力會聚焦在蛋白的結合口袋，結果發現模型根本沒看那裡，而是盯著蛋白裡一小段非保守、因蛋白而異的氨基酸序列——這段序列和結合功能無關，只是恰好能唯一標識「這是哪個蛋白」。他們意識到Hermes其實是在給每個蛋白記一個外號，而不是學結合化學。解決辦法是製造大量突變體：當兩個蛋白序列幾乎一樣、只有口袋裡一處不同、行為卻天差地別時，外號策略就徹底失效，模型被迫重新去看所有氨基酸，重新訓練後注意力確實變得均勻很多。
— Ian Quigley轉向用自然語言做化學推理的強化學習
Leash最近把思路轉向用自然語言而不是數值向量做化學推理。他們先教開源語言模型用英文描述分子結構、描述兩個分子的差異，再給它binder和non-binder的對比數據做推理，最後放手讓它在真實篩選數據庫裡自主挑分子做虛擬實驗、拿到結果後更新假設，反覆迭代找最佳結合物。他們認為自然語言是比堆參數更強的記憶正則化器，更不容易走捷徑，而且這是一個物理錨定、可規模化的強化學習環境，不同於傳統做分子生成的自迴歸方法。
— Ian Quigley壁壘不是算法，是撞坑撞出來的流程文化
面對「既然能靠海量篩選找到好分子，為什麼還需要模型」的質疑，Ian的回答是目標不同：如果只想給單個靶點找化學材料，確實不需要模型；但想讓模型學會跨蛋白、跨化學空間泛化就不一樣。Leash已做過約2000種蛋白構建體、約5000次篩選，覆蓋至少650萬個分子，若找CRO逐個做，一次篩選大約10萬美元。真正的壁壘不是算法，而是多年撞上各種「實驗作弊模式」後積累的流程文化——比如他們發現庫裡一類長得像蛋白摺疊矯正藥Lumacaftor的分子，專門命中的全是摺疊失敗的蛋白，這類坑只有長期盯數據的團隊才抓得到，砸錢買不來。
— Ian Quigley原話 · 已逐字校驗
Mike was like, hey, looks like a Stuart Shribert molecule. And then we were like, oh no, you can tell just by walking by? You're like, who made this? That's horrifying.
Mike說，這看著像Stuart Shribert做的分子。我們當時就想，不是吧，你光看一眼就能認出來？你是說誰做的這個？這太可怕了。
Ian Quigley0:00
When you train models on the exhaust, you might be in trouble.
當你用廢氣（副產物痕跡）訓練模型時，你可能有麻煩了。
Ian Quigley1:00
And then when you go to the most challenging eval, no one did better than chance.
而當你看最難的那一檔測試集時，沒有一個人比瞎猜更準。
Ian Quigley31:53
It's well known that things like molecular weight will just – you know, all you have to do is sort by molecular weight. That's like one of the single biggest predictors you can possibly have.
大家都知道像分子量這種東西——你只要按分子量排序就行，這幾乎是你能擁有的單一最強預測因子之一。
Ian Quigley52:40
Our models did kind of bad on that molecule. It was a distant chemical library. They weren't very good at it. And Bolts was perfect at it.
我們的模型在那個分子上表現挺差，那是個很遠的化學庫，模型搞不定它；而Boltz在上面表現完美。
Ian Quigley58:53
we realized that Hermes was probably coming up with a nickname for the protein. It's not thinking about, oh, this is the functional part. It's like, I don't need to learn that. I can remember, you know, 10 or 12 amino acids that are different here than everyone else. And I can just memorize it.
我們意識到Hermes很可能是在給蛋白起了個外號。它不是在想「這是功能區域」，而是「我不需要學那個，我只要記住這裡有10到12個和別人不一樣的氨基酸」，然後直接死記硬背就行。
Ian Quigley1:12:27
And what we are currently doing is we're using readable, interpretable English to represent the small molecules and the proteins and their behaviors.
我們現在在做的是，用可讀、可解釋的英語來表示小分子、蛋白質以及它們的行為。
Ian Quigley1:15:47
We have a bunch of chemicals in our chemical library that looks like Luma-Captor, this thing whose job it is to refold misfolded proteins. Guess what kind of proteins it hits when we screen them?
我們化學庫裡有一批長得像Lumacaftor（一種負責給錯誤摺疊蛋白重新摺疊的藥）的分子。猜猜我們篩選時它們命中的是哪種蛋白？
Ian Quigley1:45:21
數字與實體
| 預測化學家身份的top5準確率 | 60% | 47:28 |
| 用於身份預測的化學家數量 | 1815位（Chemble數據庫，每人30篇以上論文、600個以上分子） | 47:28 |
| 已造出的最大DEL庫規模 | 40萬億個分子 | 4:02 |
| 傳統逐管排列化合物庫的標籤錯誤率 | 20%-30% | 26:39 |
| Leash發布的Kaggle數據集規模 vs 此前最大公開數據集BindingDB | 約40億次物理相互作用 vs 不到300萬次 | 27:43 |
| Kaggle競賽參賽隊伍數 | 2000支 | 30:48 |
| Leash迄今的篩選規模 | 約2000種蛋白構建體、約5000次篩選，每次覆蓋至少650萬個分子 | 1:39:10 |
| 從DEL命中到小鼠體內良好PKPD的用時 | 約6個月（少量藥化迭代週期） | 1:28:03 |
術語
- DEL (DNA-Encoded Library)DNA編碼化合物庫
- 給每個小分子掛一段DNA條形碼，上千萬分子混在一管裡同時篩選結合活性
- SMILES分子線性表示法
- 用純文本字符串表示分子結構的方法，不攜帶三維座標信息
- Clever Hans effect聰明漢斯效應
- 模型看似學會了任務，實則在讀取無關線索而非任務本身的規律
- activity cliff活性懸崖
- 分子結構只有極小差異，但結合活性卻發生劇烈變化的現象
- cross-attention交叉注意力機制
- 讓模型顯式關聯兩種輸入（如蛋白序列和分子結構）不同部分的架構設計
- ADMET成藥性五項指標
- 藥物的吸收、分布、代謝、排洩與毒性，決定一個分子能否真正成藥
收聽指南
做藥物發現機器學習、生物數據質量把控或early-stage biotech投資的人，尤其關心模型是否在學到「偽影」而非真實物理規律的人。
DEL實驗流程中PCR擴增、條形碼設計等偏溼實驗室細節的段落可跳過。