從黑洞研究轉做住房AI:90%準確率在生產裡等於不及格
論文裡LLM做到90%可靠已算優秀，但EliseAI每年處理約六千萬通住房醫療電話，90%意味著數百萬次失敗，所以他們按問題類型在LLM、傳統機器學習之間挑，不迷信一個工具打天下。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
90%準確率在生產裡是災難
研究論文裡一個能跑到90%成功率的AI系統已經很拿得出手，但EliseAI每天處理數百萬次關於住房和醫療的真實對話，剩下那10%不是誤差，而是會直接影響人們生活的失敗案例。這是Mario從理論物理轉向生產AI後，覺得問題複雜度不降反升的核心原因。
— Mario Martone不是所有問題都該丟給LLM
Mario說很多新入行的人把LLM當成萬能解法，但LLM在需要確定性(同樣輸入要給同樣答案)和需要精確概率估計的場景上表現很差。EliseAI預測房客續租概率用的是自研的深度神經網絡，跟LLM毫無關係，因為他們有海量歷史數據，傳統機器學習反而更準、更快。團隊要先判斷問題最該用哪種工具，再決定怎麼最快逼近最優解。
— Mario Martone可靠性每加一個9都是一座山
學術論文談LLM可靠性時，把做到90%就當作一個好結果來討論。但EliseAI每年要接約六千萬通電話，90%的可靠性意味著大量失敗對話會直接變成投訴，衝擊到真實住戶和病人的生活。這是紙面指標和生產後果之間的落差，也是為什麼團隊組建了既懂學術又懂工程的混合團隊去死磕評估體系。
— Mario Martone小樣本測試看不出方法的真實差距
如果只挑五六段對話出來檢驗一個方案，看起來都差不多好；但把同樣的方法放到百萬級對話量上跑，不同方法之間的效果會明顯分化。EliseAI把科學方法用在產品設計上：建立系統化的評估體系，在真實規模下反覆驗證，而不是憑感覺或小樣本做決策。
— Mario Martone語音棧全自建，只信內部基準測試
EliseAI的語音系統完全自己搭建，因此對每一個環節的瓶頸都有完整認知。市面上出現新的語音轉文字、文字轉語音模型或者有人在X上發帖吹一個新模型，團隊不會直接相信網上的基準測試，而是立刻在內部跑一遍，用自己的真實數據和場景對比效果，目前已經做到Slack消息觸發、Kubernetes跑實驗的半自動閉環，正在往全自動推進。
— Mario Martone從找房到搬家，已經可以全自動跑完
EliseAI把租房這條鏈路做到了完全自動化：從在網站上看房，到預約看房、用門禁碼自己進屋讓AI講解房源，再到最終簽約入住，整個過程可以不需要人工介入。維修報修流程也自動了大半——AI能判斷故障是否緊急、聯繫供應商、安排上門，唯獨最後實際上門維修的那個環節，因為需要機器人才能替代人工，還沒能自動化。
— Mario Martone下一個大賭注是把保障性住房做便宜
醫療和住房加起來佔美國GDP約40%,這是EliseAI選擇深耕而不是橫向擴到新行業的理由。目前團隊正在重點攻堅保障性住房的運營成本問題——這個領域極度複雜、對最弱勢人群影響最大，但幾乎沒有任何技術滲透，如果能把保障性住房的運營成本顯著降下來，會直接改善這部分住戶的生活。
— Mario Martone做生產AI比研究弦論更難
節目收尾時Mario說出乎自己意料的一點：即便做過十五年黑洞和絃論研究，現在在生產環境裡做AI所面對的問題複雜度，可能比當年做理論物理還要高。他把這歸因於AI領域本身每天都在變，加上生產系統必須對真實後果負責，這兩者疊加出的難度是純理論研究裡沒有的。
— Mario Martone原話 · 已逐字校驗
An AI system that works 90% of the time might look impressive in a research paper, but when you're handling millions of conversations about people's housing and healthcare, that remaining 10% becomes an enormous problem.
一個能跑到90%成功率的AI系統，在研究論文裡可能很亮眼，但當你要處理數百萬次關於人們住房和醫療的對話時，剩下那10%會變成一個巨大的問題。
Mario Martone0:00
when they're talking about reliability, they talk, okay, if the LLM can take it up to 90%. And then we say 90%, that means for like 60 million of phone calls per month, per year, it means like an enormous amount of failures. That is totally unbearable.
學術界談可靠性時會說，如果LLM能做到90%就行了。但我們說的90%,放到每年六千萬通電話裡，意味著巨量的失敗，這是完全無法承受的。
Mario Martone8:30
At small scale, like five or six conversations, all look quite good. But at scale, when you get to the millions, then you see that different methods diverge significantly.
在小規模下，比如五六段對話，看起來都挺好的。但放到百萬級規模上，你會看到不同方法之間的差距明顯分化。
Mario Martone9:36
I don't really have to believe it. I don't even look at the benchmark.
我不需要去相信它，我甚至都不看那個基準測試。
Mario Martone12:42
We do have some Kubernetes loop, but we're working on animating it actually fully.
我們確實有一套Kubernetes的循環流程，但我們正在把它做成完全自動化。
Mario Martone12:42
Health care and housing. It's like 40% of the GDP in the U.S.
醫療和住房，這兩個加起來差不多佔美國GDP的40%。
Mario Martone18:59
I would say that the complex, the complexity of the problem of working now is probably higher now than it was before.
我想說，現在工作面對的問題複雜度，大概比以前還要高。
Mario Martone23:11
數字與實體
| 語音電話量 | 每月約500萬通(約合每年6000萬通) | 10:39 |
| EliseAI公司規模 | 約600人 | 16:56 |
| 開源模型微調投入時長 | 約8個月 | 13:43 |
| Mario理論物理研究年限 | 15年 | 2:06 |
| 醫療+住房佔美國GDP比重 | 約40% | 18:59 |
術語
- fine-tuning微調
- 在開源基礎模型上用自有數據繼續訓練，使其適配特定場景。
- closed-loop experimentation閉環實驗
- 新模型一出現就立刻用內部真實數據跑測試，而不依賴外部公開基準。
收聽指南
做企業級/政企AI產品化、需要在LLM與傳統機器學習間做選型、關心生產環境可靠性評估的工程師和產品負責人。
0:00到2:06關於嘉賓頭銜和開場寒暄的部分可以跳過。