AI能寫出可投產的代碼,但還沒人敢讓它獨自運維一個分布式集群
代碼的解空間和訓練數據同分布,AI才能一路狂飆;運維要應對訓練數據之外的真實世界,這道分野決定了AI接下來卡在哪一步。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
可觀測性是在為可靠性買單
企業把5%到20%的基礎設施預算花在可觀測性上,但真正想買的不是日誌和指標,而是可靠性和支出的可預測性。過去花得越多可靠性漲得越明顯,但架構轉向微服務後,每層採集的數據量暴漲,花錢的速度超過了業務產出的增長,邊際可靠性提升開始走平——這才是大家覺得可觀測性「太貴」的真正原因。
— JadAI沒有拉平工程師差距,反而拉大了
Jad觀察到,真正厲害的工程師會讓AI反過來訓練自己——學會怎麼跟它對話、怎麼拆任務、什麼時候該起子agent。結果不是差的工程師變好,而是好的工程師變得更好,團隊裡「還行」和「很厲害」之間的差距被直接放大了十倍。他把這歸因於複雜度:大腦能處理的複雜度越高,能拆解分配給AI的任務就越精細,這正是AI目前做不到的部分。
— Jad一個人十天干完過去六個月的活
Jad最近獨自用AI完成的項目,是給數據湖做「自動提升」——把日誌裡每個字段拆成獨立可查詢的列,涉及搞清楚元數據系統怎麼提交、多個寫入方怎麼協調。放在過去,這種複雜度需要一個人幹六個月;這次只用了大約十天,相當於十倍到二十倍的效率提升,而且是真實上線的生產代碼,不是演示。
— Jad不從告警倒推根因,而是先抓異常信號
市面上多數AI SRE系統是拿到一個滯後指標後再回頭在複雜系統裡倒推根因,Jad認為這條路很難走通。Grepper反過來做:先掃描海量日誌,找出環境裡第一次出現的、此前沒見過的新模式或早期預警信號(比如連接數耗盡、內存超限),把這個信號餵給AI推理。內部和客戶環境裡已經出現過被忽略後真的演變成生產事故的案例。
— Jad查詢優化快解決了,接管集群還不行
被問到AI多久能替代人做查詢優化,Jad回答「很接近了」;但被問到AI能不能像系統專家那樣獨立運維一個分布式集群、扛住它崩潰的局面時,他的回答是「還不行」。兩人的共識是複雜度量級不同:寫代碼的解空間和訓練數據同分布,但運維要處理的是訓練數據之外、帶著長尾和例外的真實世界狀態。
— Jad安全問題比運維問題還難一個量級
Martin提出,運維的難點好歹只是系統偶然進入了小概率壞狀態,安全問題則多了一個主動找茬的對手——攻擊者是故意去尋找系統防不住的小概率漏洞的。Jad認同這讓安全成為比普通運維更難的問題,即便Grepper用類似思路處理安全信號(統計特徵的異常擾動),也要靠AI生成一批可能的因果鏈假設再逐一驗證,而不是直接給出答案。
— Martin自動駕駛的教訓:現實世界經濟賬很慢
Martin提醒,Sebastian Thrun在斯坦福贏下DARPA挑戰賽時大家都覺得自動駕駛指日可待,結果花了20年和1700億美元投入,做出來的單位經濟賬還比不上Uber。他用這個例子說明,凡是解空間等於真實物理世界分布的問題,AI要達到能打平經濟賬的程度,會比解空間等於訓練數據分布的代碼類問題慢得多、貴得多。
— Martin客戶想買的是省錢,不是AI故事
Grepper去推銷「AI幫你在出事故前就發現並修復問題」時,客戶反而打斷說:你剛才說能幫我們省90%的Datadog賬單?那個我現在就要買,AI的事先不管。Jad的解釋是,代碼類AI的價值很好算賬——工程師效率本來就是成本大項;但運維類AI的價值很難被客戶直接定價,即便它更有用,也更難賣得出去。
— Jad原話 · 已逐字校驗
AI can now write remarkable amounts of production code. But writing software and running it are two very different problems.
AI現在已經能寫出相當驚人的生產級代碼。但寫軟件和運行軟件是兩個非常不同的問題。
if you're a good engineer, you're just a better good engineer. It's not like there's some like bad engineers all of a sudden became good engineers.
如果你本來就是個好工程師,你只是變成了一個更好的好工程師。不是說有些差的工程師突然就變好了。
Jad13:16
The question I think is maybe about complexity. And like, to what extent can you take the things that you've described that are operational and like that happen in production and convert them into something that an AI can reason about.
我覺得問題也許在於複雜度。也就是說,你能在多大程度上把你描述的那些發生在生產環境裡的運維事情,轉化成AI能夠推理的東西。
Jad26:37
the dirty secret for the longest time of running like a distributed cluster was just human beings managing it.
長久以來運行分布式集群的骯髒秘密,就是靠人盯著管理它。
Martin32:45
there's like this, there's like the AI, the world that the AI lives in, which is all digital and like whatever it is, the training data, the in-distribution world, and there's the actual world. And like, those things are not necessarily the same.
有這麼一件事:AI生活在的世界是純數字化的,是訓練數據、是分布內的世界,而還有一個真實世界。這兩者未必是同一回事。
Martin52:12
it took 20 years and $170 billion of investment to get to a worse unit economics than Uber, right?
花了20年和1700億美元的投入,得到的單位經濟賬還比不上Uber,對吧?
Martin54:14
Roll back. You said you can save 90% of our data dog bills? Yeah. That's what I want to buy. But the AI thing, you know, like, no, no, no, no. That's what we want to buy right now.
倒回去。你說你能幫我們省90%的Datadog賬單?對。那個我要買。但AI那套東西,不不不不,我們現在就想買這個。
Jad57:16
數字與實體
| 企業可觀測性支出佔基礎設施支出比例 | 5%-20% | 7:07 |
| Grepper幫客戶降低的數據/telemetry成本 | 90% | 9:12 |
| 數據湖自動字段提升項目耗時(AI輔助,一人) | 約10天(此前需約6個月) | 23:34 |
| 同時運行的AI agent會話窗口數 | 3-4個 | 21:34 |
術語
- semantics vs syntax語義與語法
- 語法是代碼怎麼寫,語義是機器實際會怎麼執行
- AI SREAI驅動的站點可靠性工程
- 用AI替代人工排查和處理生產系統故障
- auto-promotion / shredding數據湖自動字段提升
- 把日誌裡每個字段拆成獨立可查詢列以提升查詢效率
- chaos engineering混沌工程
- 主動注入故障測試系統韌性的運維方法
- WSLWindows Linux子系統
- 在Windows上直接運行Linux環境的兼容層
收聽指南
關注AI工程效率和運維自動化邊界的工程師、技術VC和基礎設施創業者,想判斷AI下一步卡在哪一步。
開場關於讀研經歷和抽菸摩托車的寒暄可以跳過,不影響後面的技術討論。