PR成本从80美元砍到20美元,不是换模型,是把工厂写成代码
Warp把内部软件工厂整个定义成代码并接入观测闭环后,靠「观察-测量-调优」把每个PR成本从80美元压到15到20美元,PR吞吐同时提升40%。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
软件工厂不是随手拼自动化
Zach说大多数公司找过来时,已经把「用agent多写了点代码」就称作内部软件工厂,这是一种误解。他的定义是:一个在云端运行的agentic系统,团队要明确定义各类agent在构建产品过程中的角色,系统有一定自主性,并且必须是可测量、可基准测试、形成闭环的东西,团队可以随时间调优并建立信心。
— Zach Lloyd工厂必须用代码定义
针对「买了工具就能出money machine」的误解,Zach强调软件工厂要落成具体、可运行的东西:用一份YAML文件定义有哪些repo、哪些MCP集成、哪些技能,整套workflow像Terraform一样声明式写在代码里,这样才能版本化、拉分支测试、随时回滚,而不是一堆松散的自动化拼凑。
— Zach Lloyd所有agent对话必须汇到一处
无论任务从Slack、linear还是GitHub发起,都要先进入同一个系统触发预定义workflow。这样才能拿到跨团队agent工作的完整trace,包括computer use截图和每一步编排细节。Zach指出今天大多数公司做不到这点,因为工程师各自在本地终端用cloud code或codex,数据完全分散。
— Zach Lloydagent会给工厂定义提PR改自己
因为工厂定义本身就是代码,Warp的自我改进agent会分析历史失败案例——例如发现54个案例里triage agent本该拆出子agent去调查却没有——然后直接对工厂定义文件发起pull request来改进流程。这是一个完整的学习闭环,但Zach坦言还没做到「回放历史任务验证这个改动真的有效」这一步,属于下一步要补的能力。
— Zach Lloydbenchmark要同时换模型和换harness
Zach认为不能只比模型,还要比harness(执行框架)。Warp允许把同一批真实任务用不同模型搭配不同harness(自家的、cloud code、codex、Pi)重新跑一遍,画出成本-正确率曲线,得到针对自己业务场景而非公开榜单的结果,再把这个结果喂进模型/harness路由策略。
— Zach Lloyd调优让每PR成本降了四分之三
Warp自己用这套体系调优:一开始因为滥用Opus、triage用了算力过高的模型、子agent拆分过细,每个PR要花80美元;调优后降到15到20美元左右。同时过去一个月PR吞吐量提升40%,revert率没有上升,Zach把这当作「观察-测量-调优」方法论真正见效的证据。
— Zach Lloyd五到十个工程师以下别碰这套东西
被问到谁真正需要这套平台,Zach明确划线:几个人的小团队直接订阅Cloud Code或Codex就够了,上这套系统反而是overkill;真正划算的门槛大约是5到10名工程师起步,公司越大越需要,但实施复杂度也随规模增长,10到100人的成长期公司如果本来就用Slack、linear这类「happy stack」反而能自助式接入。
— Zach Lloyd有公司在轮换200个账号凑订阅
谈到最硬的反对意见,Zach说有些小公司很想要这套系统,却还在靠轮换一堆200美元订阅账号凑用量,因为按API计费比订阅贵5到50倍;他坦言不确定这种轮换订阅的做法算不算违反服务条款,但承认这确实是目前最便宜的方式,只是不可规模化,公司规模一大就做不了了。
— Zach Lloyd不做token转卖,因为打不过订阅经济
Zach说Warp不想做纯coding agent生意,因为订阅补贴力度太大(200美元订阅约等于8000美元API额度),纯按API计费的竞争者根本打不过。Cursor的解法是转型做模型实验室,Warp则选择做agent优化和生产力平台,刻意不在这个战场上竞争。
— Zach Lloyd原话 · 已逐字校验
you should actually think of a software factory as a very specific thing. Like you should define your factory in code.
你应该把软件工厂当成一件非常具体的事情,你应该用代码来定义你的工厂。
Zach Lloyd4:10
because you have your whole factory defined as code and these are coding agents, they can essentially make a pull request against the factory definition to try to improve the factory itself.
因为你的整个工厂是用代码定义的,而这些又是coding agent,它们基本上可以针对工厂定义本身发起一个pull request,来尝试改进工厂本身。
Zach Lloyd15:36
you're getting out of the realm of guessing and you're getting into what we call factory engineering, where it's like you are taking a real engineering mindset.
你从靠猜测的领域走出来,进入我们所说的「工厂工程」,也就是你真正用上了工程思维。
Zach Lloyd18:50
when we first started using the factory approach, it was costing us about $80 per PR because we were using like Opus where we shouldn't have.
我们刚开始用工厂这套方法的时候,每个PR大概要花80美元,因为我们在不该用Opus的地方用了Opus。
Zach Lloyd23:51
that is between five to fifty times more expensive than just getting a whole bunch of subs
这比直接买一大堆订阅要贵5到50倍。
Zach Lloyd31:07
you can't you can't build a competitive coding agent on top of a thing that costs so much more money and like that's just the reality
你没法在一个成本高出这么多的东西之上做出一个有竞争力的coding agent,这就是现实。
Zach Lloyd32:07
we're not trying to pitch like a token reselling product we're trying to pitch basically in you know a coding agent optimization platform and a coding agent like productivity platform
我们不是想卖一个token转卖的产品,我们想卖的基本上是一个coding agent优化平台,以及一个coding agent生产力平台。
Zach Lloyd33:13
数字与实体
| 调优前每PR成本 | 约80美元 | 23:51 |
| 调优后每PR成本 | 约15-20美元 | 23:51 |
| PR吞吐量环比提升 | 40% | 24:55 |
| GPT-5.6-Sol 任务正确率/平均成本 | 95%正确,平均6美元 | 17:45 |
| GLM-5.3-Flash 任务正确率/平均成本 | 93%正确,平均2美元 | 17:45 |
| 200美元订阅约等于的API额度 | 约8000美元 | 32:07 |
| 按量API计费相对订阅的成本倍数 | 5到50倍 | 31:07 |
术语
- software factory软件工厂
- 用代码声明的agentic系统,按预定义workflow自动构建产品的闭环平台
- harness执行框架
- coding agent实际运行所依赖的工具/编排层,可替换不同厂商实现
- scorers / online evals在线评分器
- 用LLM作裁判,对历史agent运行结果自动打分找失败模式的机制
- factory engineering工厂工程
- 把优化agent系统本身当成一门工程学科,靠测量和调优而非凭感觉
- ADLC/SDLC智能体/软件开发生命周期
- 把传统软件开发流程的各阶段换成由agent驱动的版本
收听指南
正在搭建公司内部agent编程平台的CTO、platform/devx团队,以及想了解企业级coding agent基础设施该长什么样的工程负责人。
开头关于AIE Code大会的宣传片段(0:00-1:02)可以跳过。