大模型处理长文档最容易犯的错，是悄悄漏掉信息
权威基准测试发现，顶尖大模型抽取长文档时精确率很高，但会不动声色地漏掉信息，这种错误在生产环境里几乎无法被发现。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
创业起点：从记忆问题转向文档问题
2023年创立时模型上下文窗口很差，团队最初做的是「记忆」方向，但拿到YC offer当天就告诉对方要转型。回头看核心判断是：agent会接手大量人类白领工作，而文档（PDF、表格）正是医疗、法律、金融、保险行业记录知识的载体。如果agent要读病历，必须达到人类读取时的同等准确度——读错一个勾选框，后果可能是改变一个病人的结果，而不只是出了点小错。
— Adit AbrahamDeep Extract：agent自我纠错比人类标注还准
传统OCR准确率大致在70%-80%区间，离97%、98%甚至99%还有距离；Reducto现在多数场景能做到高90%区间。真正的突破在于Deep Extract这类harness：让agent不仅抽取信息，还要审查、校验自己的输出（比如核对发票明细加总是否等于总额）。Adit说这是他第一次发现，在很多结构化抽取测试里agent能比人类标注员更准——因为人类标注员本身会漏行、偷懒、只填部分信息，而这些错误此前被当作标准答案。
— Adit Abraham一分钱一页：成本降到能无脑全读的门槛
Reducto标价每页一美分，采访当天早上公司刚处理完第70亿页文档，目前每月处理数十亿页。Adit认为过去大多数AI产品是受限信息源的聊天机器人，而真正让agent干活需要它能像人一样主动去网上搜、去知识库找更多资料——前提是不用再精打细算这页值不值得用高精度流程处理。公司下一步要解决的是数百亿页规模下如何继续保持这个价格和质量。
— Adit Abraham大模型公司不会啃这块硬骨头
被问到头部大模型公司为何不会自己解决文档处理问题时，Adit判断这些实验室在打造「超级智能」的军备竞赛，文档处理虽然问题很深，但属于通用能力之外的基础设施工作，他们没有动力一头扎进去。更关键的是专注带来的优势——通用模型的视觉编码器既要能把自拍变成吉卜力风格图片，又要读文档，而Reducto的模型只需要在限定任务范围内做到极致，这让它在同等准确率下的成本和速度能比前沿模型激进得多。
— Adit Abraham长文档抽取的真实败因是漏读，不是读错
Reducto与MicroOne合作做的独立基准测试发现一个反直觉结果：在长文档抽取任务上，前沿大模型的精确率其实优于不少专用文档解析工具——抽出来的内容大概率是对的。但它们的失败模式集中在召回率上：模型会在不知不觉中漏掉信息，而这种错误在生产环境里极难被发现。这也是Deep Extract要解决的问题——不止靠一个模型抽取，而是让agent具备验证规则，知道什么时候该回头复核。
— Adit Abraham公开基准正在沦为营销工具
Adit直言AI行业的通病是基准测试越来越像营销手段，导致当人人都宣称自己是SOTA时，用户反而很难判断什么对自己真正有用。他举例说某个公开基准测试里，如果把同一批文档轻微旋转一度、加一点高斯模糊，发布该基准的那家厂商表现会明显变差，而其他厂商基本保持稳定——这种落差普通用户根本不会主动去测。他建议用LLM当裁判、在自己的数据分布上做评测，而不是依赖通用基准。
— Adit Abraham一个pain和chest pain之差，决定理赔结果
Adit提到一家医疗客户的真实案例：最初的处理流程把病历里的chest pain（胸痛）识别成了pain（疼痛），医生据此查询病史时查不到相关既往记录，导致病人的理赔申请被驳回。医院系统里的医生普遍超负荷，根本没时间逐字核对OCR结果，只能信任工具。在这类场景里，Reducto发现实际OCR准确率有时低于50%，而一份病历动辄上万页，医生不可能靠人工逐页复核。
— Adit Abraham80%的申诉改判，暴露审批系统的系统性错误
Adit引用的数字：每年有数以百万计的Medicare理赔因事先授权被拒，而其中80%的申诉最终推翻了原始决定——这本身说明最初的审批流程存在系统性问题。类似的纸质流程瓶颈也出现在美国移民局（USCIS）的积压案件里。他认为，如果能把准确率、成本、延迟都做到近乎无限，让前沿模型真正顶上这些任务，很多原本只能靠人工处理的流程都可以被大幅简化。
— Adit Abraham原话 · 已逐字校验
nobody thinks about complexity when they upload a document to ChatGPT, right? You just expect it to work.
没人会在把文档上传到ChatGPT时去想背后的复杂度，对吧？你就是默认它能用。
Adit Abraham4:10
it's the first time where I find that agents can be better at structured extraction than humans on many tests.
这是我第一次发现，在很多测试里agent做结构化抽取能比人类做得更好。
Adit Abraham9:19
Today, literally this morning, we crossed our seven billionth page.
就在今天，确切说是今天早上，我们处理的页数跨过了第70亿页。
Adit Abraham11:24
I remember one of my friends came to dinner with a shaved head. They'd all shaved their heads for a million in ARR.
我记得有个朋友剃了光头来吃晚饭。他们为了ARR达到一百万美元，全公司都剃了头。
Adit Abraham15:30
They would silently drop information. That's the kind of thing that is really, really hard to catch in production.
它们会悄无声息地漏掉信息。这种问题在生产环境里是真的非常非常难被发现的。
Adit Abraham22:36
benchmarks have become marketing over time. And the downstream side effect is it's really hard to know what is good in your context when everything is like state of the art all the time.
基准测试慢慢变成了一种营销手段。由此带来的后果是，当人人都号称自己是最先进的，你很难判断在自己的场景里到底什么才是真正好用的。
Adit Abraham24:43
We were talking about individual cases where because the initial pipeline read something as pain instead of chest pain, somebody's claim gets rejected
我们聊到过具体案例：因为最初的处理流程把某处识别成了pain而不是chest pain（胸痛），导致有人的理赔申请被驳回。
Adit Abraham32:49
one of the craziest stats I learned is that in 80% of appeals, the original decision was overturned, which should be shocking because clearly there's some inefficiency in how the decision was originally made.
我了解到的一个最离谱的数据是，80%的申诉最终都推翻了原始决定，这其实挺惊人的，因为这显然说明最初做决定的流程存在某种低效。
Adit Abraham33:49
数字与实体
| Reducto累计处理页数 | 70亿页 | 11:24 |
| Reducto标价 | 每页1美分（list price） | 11:24 |
| Reducto支持文件格式数 | 40多种 | 26:43 |
| 美国纸质报税比例 | 16% | 35:52 |
| Medicare理赔申诉改判率 | 80% | 33:49 |
| 传统OCR准确率区间 | 70%-80% | 8:17 |
| Reducto当前准确率（多数场景） | 高90%区间 | 9:19 |
| 医疗病历场景部分OCR准确率 | 低于50% | 32:49 |
术语
- VLM视觉语言模型
- 能同时理解图像与语义的模型，用来替代传统基于模板匹配的OCR
- IDP智能文档处理
- 行业对文档处理赛道的旧称，Reducto认为自己的目标比这更大
- harness智能体工作框架
- 围绕模型搭建的审查、校验、纠错流程，而非只调用模型一次
- recall召回率
- 该抽取的信息有没有被漏掉，是长文档抽取里最容易悄悄出错的指标
收听指南
做企业AI应用、处理合同、保单、病历等文档密集型业务的产品经理和创业者
开头创业转型故事偏泛，想直接看技术和数字可从4:10模型技术部分开始