从黑洞研究转做住房AI:90%准确率在生产里等于不及格
论文里LLM做到90%可靠已算优秀，但EliseAI每年处理约六千万通住房医疗电话，90%意味着数百万次失败，所以他们按问题类型在LLM、传统机器学习之间挑，不迷信一个工具打天下。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
90%准确率在生产里是灾难
研究论文里一个能跑到90%成功率的AI系统已经很拿得出手，但EliseAI每天处理数百万次关于住房和医疗的真实对话，剩下那10%不是误差，而是会直接影响人们生活的失败案例。这是Mario从理论物理转向生产AI后，觉得问题复杂度不降反升的核心原因。
— Mario Martone不是所有问题都该丢给LLM
Mario说很多新入行的人把LLM当成万能解法，但LLM在需要确定性(同样输入要给同样答案)和需要精确概率估计的场景上表现很差。EliseAI预测房客续租概率用的是自研的深度神经网络，跟LLM毫无关系，因为他们有海量历史数据，传统机器学习反而更准、更快。团队要先判断问题最该用哪种工具，再决定怎么最快逼近最优解。
— Mario Martone可靠性每加一个9都是一座山
学术论文谈LLM可靠性时，把做到90%就当作一个好结果来讨论。但EliseAI每年要接约六千万通电话，90%的可靠性意味着大量失败对话会直接变成投诉，冲击到真实住户和病人的生活。这是纸面指标和生产后果之间的落差，也是为什么团队组建了既懂学术又懂工程的混合团队去死磕评估体系。
— Mario Martone小样本测试看不出方法的真实差距
如果只挑五六段对话出来检验一个方案，看起来都差不多好；但把同样的方法放到百万级对话量上跑，不同方法之间的效果会明显分化。EliseAI把科学方法用在产品设计上：建立系统化的评估体系，在真实规模下反复验证，而不是凭感觉或小样本做决策。
— Mario Martone语音栈全自建，只信内部基准测试
EliseAI的语音系统完全自己搭建，因此对每一个环节的瓶颈都有完整认知。市面上出现新的语音转文字、文字转语音模型或者有人在X上发帖吹一个新模型，团队不会直接相信网上的基准测试，而是立刻在内部跑一遍，用自己的真实数据和场景对比效果，目前已经做到Slack消息触发、Kubernetes跑实验的半自动闭环，正在往全自动推进。
— Mario Martone从找房到搬家，已经可以全自动跑完
EliseAI把租房这条链路做到了完全自动化：从在网站上看房，到预约看房、用门禁码自己进屋让AI讲解房源，再到最终签约入住，整个过程可以不需要人工介入。维修报修流程也自动了大半——AI能判断故障是否紧急、联系供应商、安排上门，唯独最后实际上门维修的那个环节，因为需要机器人才能替代人工，还没能自动化。
— Mario Martone下一个大赌注是把保障性住房做便宜
医疗和住房加起来占美国GDP约40%,这是EliseAI选择深耕而不是横向扩到新行业的理由。目前团队正在重点攻坚保障性住房的运营成本问题——这个领域极度复杂、对最弱势人群影响最大，但几乎没有任何技术渗透，如果能把保障性住房的运营成本显著降下来，会直接改善这部分住户的生活。
— Mario Martone做生产AI比研究弦论更难
节目收尾时Mario说出乎自己意料的一点：即便做过十五年黑洞和弦论研究，现在在生产环境里做AI所面对的问题复杂度，可能比当年做理论物理还要高。他把这归因于AI领域本身每天都在变，加上生产系统必须对真实后果负责，这两者叠加出的难度是纯理论研究里没有的。
— Mario Martone原话 · 已逐字校验
An AI system that works 90% of the time might look impressive in a research paper, but when you're handling millions of conversations about people's housing and healthcare, that remaining 10% becomes an enormous problem.
一个能跑到90%成功率的AI系统，在研究论文里可能很亮眼，但当你要处理数百万次关于人们住房和医疗的对话时，剩下那10%会变成一个巨大的问题。
Mario Martone0:00
when they're talking about reliability, they talk, okay, if the LLM can take it up to 90%. And then we say 90%, that means for like 60 million of phone calls per month, per year, it means like an enormous amount of failures. That is totally unbearable.
学术界谈可靠性时会说，如果LLM能做到90%就行了。但我们说的90%,放到每年六千万通电话里，意味着巨量的失败，这是完全无法承受的。
Mario Martone8:30
At small scale, like five or six conversations, all look quite good. But at scale, when you get to the millions, then you see that different methods diverge significantly.
在小规模下，比如五六段对话，看起来都挺好的。但放到百万级规模上，你会看到不同方法之间的差距明显分化。
Mario Martone9:36
I don't really have to believe it. I don't even look at the benchmark.
我不需要去相信它，我甚至都不看那个基准测试。
Mario Martone12:42
We do have some Kubernetes loop, but we're working on animating it actually fully.
我们确实有一套Kubernetes的循环流程，但我们正在把它做成完全自动化。
Mario Martone12:42
Health care and housing. It's like 40% of the GDP in the U.S.
医疗和住房，这两个加起来差不多占美国GDP的40%。
Mario Martone18:59
I would say that the complex, the complexity of the problem of working now is probably higher now than it was before.
我想说，现在工作面对的问题复杂度，大概比以前还要高。
Mario Martone23:11
数字与实体
| 语音电话量 | 每月约500万通(约合每年6000万通) | 10:39 |
| EliseAI公司规模 | 约600人 | 16:56 |
| 开源模型微调投入时长 | 约8个月 | 13:43 |
| Mario理论物理研究年限 | 15年 | 2:06 |
| 医疗+住房占美国GDP比重 | 约40% | 18:59 |
术语
- fine-tuning微调
- 在开源基础模型上用自有数据继续训练，使其适配特定场景。
- closed-loop experimentation闭环实验
- 新模型一出现就立刻用内部真实数据跑测试，而不依赖外部公开基准。
收听指南
做企业级/政企AI产品化、需要在LLM与传统机器学习间做选型、关心生产环境可靠性评估的工程师和产品负责人。
0:00到2:06关于嘉宾头衔和开场寒暄的部分可以跳过。