AI能写出可投产的代码,但还没人敢让它独自运维一个分布式集群
代码的解空间和训练数据同分布,AI才能一路狂飙;运维要应对训练数据之外的真实世界,这道分野决定了AI接下来卡在哪一步。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
可观测性是在为可靠性买单
企业把5%到20%的基础设施预算花在可观测性上,但真正想买的不是日志和指标,而是可靠性和支出的可预测性。过去花得越多可靠性涨得越明显,但架构转向微服务后,每层采集的数据量暴涨,花钱的速度超过了业务产出的增长,边际可靠性提升开始走平——这才是大家觉得可观测性「太贵」的真正原因。
— JadAI没有拉平工程师差距,反而拉大了
Jad观察到,真正厉害的工程师会让AI反过来训练自己——学会怎么跟它对话、怎么拆任务、什么时候该起子agent。结果不是差的工程师变好,而是好的工程师变得更好,团队里「还行」和「很厉害」之间的差距被直接放大了十倍。他把这归因于复杂度:大脑能处理的复杂度越高,能拆解分配给AI的任务就越精细,这正是AI目前做不到的部分。
— Jad一个人十天干完过去六个月的活
Jad最近独自用AI完成的项目,是给数据湖做「自动提升」——把日志里每个字段拆成独立可查询的列,涉及搞清楚元数据系统怎么提交、多个写入方怎么协调。放在过去,这种复杂度需要一个人干六个月;这次只用了大约十天,相当于十倍到二十倍的效率提升,而且是真实上线的生产代码,不是演示。
— Jad不从告警倒推根因,而是先抓异常信号
市面上多数AI SRE系统是拿到一个滞后指标后再回头在复杂系统里倒推根因,Jad认为这条路很难走通。Grepper反过来做:先扫描海量日志,找出环境里第一次出现的、此前没见过的新模式或早期预警信号(比如连接数耗尽、内存超限),把这个信号喂给AI推理。内部和客户环境里已经出现过被忽略后真的演变成生产事故的案例。
— Jad查询优化快解决了,接管集群还不行
被问到AI多久能替代人做查询优化,Jad回答「很接近了」;但被问到AI能不能像系统专家那样独立运维一个分布式集群、扛住它崩溃的局面时,他的回答是「还不行」。两人的共识是复杂度量级不同:写代码的解空间和训练数据同分布,但运维要处理的是训练数据之外、带着长尾和例外的真实世界状态。
— Jad安全问题比运维问题还难一个量级
Martin提出,运维的难点好歹只是系统偶然进入了小概率坏状态,安全问题则多了一个主动找茬的对手——攻击者是故意去寻找系统防不住的小概率漏洞的。Jad认同这让安全成为比普通运维更难的问题,即便Grepper用类似思路处理安全信号(统计特征的异常扰动),也要靠AI生成一批可能的因果链假设再逐一验证,而不是直接给出答案。
— Martin自动驾驶的教训:现实世界经济账很慢
Martin提醒,Sebastian Thrun在斯坦福赢下DARPA挑战赛时大家都觉得自动驾驶指日可待,结果花了20年和1700亿美元投入,做出来的单位经济账还比不上Uber。他用这个例子说明,凡是解空间等于真实物理世界分布的问题,AI要达到能打平经济账的程度,会比解空间等于训练数据分布的代码类问题慢得多、贵得多。
— Martin客户想买的是省钱,不是AI故事
Grepper去推销「AI帮你在出事故前就发现并修复问题」时,客户反而打断说:你刚才说能帮我们省90%的Datadog账单?那个我现在就要买,AI的事先不管。Jad的解释是,代码类AI的价值很好算账——工程师效率本来就是成本大项;但运维类AI的价值很难被客户直接定价,即便它更有用,也更难卖得出去。
— Jad原话 · 已逐字校验
AI can now write remarkable amounts of production code. But writing software and running it are two very different problems.
AI现在已经能写出相当惊人的生产级代码。但写软件和运行软件是两个非常不同的问题。
if you're a good engineer, you're just a better good engineer. It's not like there's some like bad engineers all of a sudden became good engineers.
如果你本来就是个好工程师,你只是变成了一个更好的好工程师。不是说有些差的工程师突然就变好了。
Jad13:16
The question I think is maybe about complexity. And like, to what extent can you take the things that you've described that are operational and like that happen in production and convert them into something that an AI can reason about.
我觉得问题也许在于复杂度。也就是说,你能在多大程度上把你描述的那些发生在生产环境里的运维事情,转化成AI能够推理的东西。
Jad26:37
the dirty secret for the longest time of running like a distributed cluster was just human beings managing it.
长久以来运行分布式集群的肮脏秘密,就是靠人盯着管理它。
Martin32:45
there's like this, there's like the AI, the world that the AI lives in, which is all digital and like whatever it is, the training data, the in-distribution world, and there's the actual world. And like, those things are not necessarily the same.
有这么一件事:AI生活在的世界是纯数字化的,是训练数据、是分布内的世界,而还有一个真实世界。这两者未必是同一回事。
Martin52:12
it took 20 years and $170 billion of investment to get to a worse unit economics than Uber, right?
花了20年和1700亿美元的投入,得到的单位经济账还比不上Uber,对吧?
Martin54:14
Roll back. You said you can save 90% of our data dog bills? Yeah. That's what I want to buy. But the AI thing, you know, like, no, no, no, no. That's what we want to buy right now.
倒回去。你说你能帮我们省90%的Datadog账单?对。那个我要买。但AI那套东西,不不不不,我们现在就想买这个。
Jad57:16
数字与实体
| 企业可观测性支出占基础设施支出比例 | 5%-20% | 7:07 |
| Grepper帮客户降低的数据/telemetry成本 | 90% | 9:12 |
| 数据湖自动字段提升项目耗时(AI辅助,一人) | 约10天(此前需约6个月) | 23:34 |
| 同时运行的AI agent会话窗口数 | 3-4个 | 21:34 |
术语
- semantics vs syntax语义与语法
- 语法是代码怎么写,语义是机器实际会怎么执行
- AI SREAI驱动的站点可靠性工程
- 用AI替代人工排查和处理生产系统故障
- auto-promotion / shredding数据湖自动字段提升
- 把日志里每个字段拆成独立可查询列以提升查询效率
- chaos engineering混沌工程
- 主动注入故障测试系统韧性的运维方法
- WSLWindows Linux子系统
- 在Windows上直接运行Linux环境的兼容层
收听指南
关注AI工程效率和运维自动化边界的工程师、技术VC和基础设施创业者,想判断AI下一步卡在哪一步。
开场关于读研经历和抽烟摩托车的寒暄可以跳过,不影响后面的技术讨论。