大模型處理長文檔最容易犯的錯，是悄悄漏掉信息
權威基準測試發現，頂尖大模型抽取長文檔時精確率很高，但會不動聲色地漏掉信息，這種錯誤在生產環境裡幾乎無法被發現。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
創業起點：從記憶問題轉向文檔問題
2023年創立時模型上下文窗口很差，團隊最初做的是「記憶」方向，但拿到YC offer當天就告訴對方要轉型。回頭看核心判斷是：agent會接手大量人類白領工作，而文檔（PDF、表格）正是醫療、法律、金融、保險行業記錄知識的載體。如果agent要讀病歷，必須達到人類讀取時的同等準確度——讀錯一個勾選框，後果可能是改變一個病人的結果，而不只是出了點小錯。
— Adit AbrahamDeep Extract：agent自我糾錯比人類標註還準
傳統OCR準確率大致在70%-80%區間，離97%、98%甚至99%還有距離；Reducto現在多數場景能做到高90%區間。真正的突破在於Deep Extract這類harness：讓agent不僅抽取信息，還要審查、校驗自己的輸出（比如核對發票明細加總是否等於總額）。Adit說這是他第一次發現，在很多結構化抽取測試裡agent能比人類標註員更準——因為人類標註員本身會漏行、偷懶、只填部分信息，而這些錯誤此前被當作標準答案。
— Adit Abraham一分錢一頁：成本降到能無腦全讀的門檻
Reducto標價每頁一美分，採訪當天早上公司剛處理完第70億頁文檔，目前每月處理數十億頁。Adit認為過去大多數AI產品是受限信息源的聊天機器人，而真正讓agent幹活需要它能像人一樣主動去網上搜、去知識庫找更多資料——前提是不用再精打細算這頁值不值得用高精度流程處理。公司下一步要解決的是數百億頁規模下如何繼續保持這個價格和質量。
— Adit Abraham大模型公司不會啃這塊硬骨頭
被問到頭部大模型公司為何不會自己解決文檔處理問題時，Adit判斷這些實驗室在打造「超級智能」的軍備競賽，文檔處理雖然問題很深，但屬於通用能力之外的基礎設施工作，他們沒有動力一頭扎進去。更關鍵的是專注帶來的優勢——通用模型的視覺編碼器既要能把自拍變成吉卜力風格圖片，又要讀文檔，而Reducto的模型只需要在限定任務範圍內做到極致，這讓它在同等準確率下的成本和速度能比前沿模型激進得多。
— Adit Abraham長文檔抽取的真實敗因是漏讀，不是讀錯
Reducto與MicroOne合作做的獨立基準測試發現一個反直覺結果：在長文檔抽取任務上，前沿大模型的精確率其實優於不少專用文檔解析工具——抽出來的內容大概率是對的。但它們的失敗模式集中在召回率上：模型會在不知不覺中漏掉信息，而這種錯誤在生產環境裡極難被發現。這也是Deep Extract要解決的問題——不止靠一個模型抽取，而是讓agent具備驗證規則，知道什麼時候該回頭複核。
— Adit Abraham公開基準正在淪為營銷工具
Adit直言AI行業的通病是基準測試越來越像營銷手段，導致當人人都宣稱自己是SOTA時，用戶反而很難判斷什麼對自己真正有用。他舉例說某個公開基準測試裡，如果把同一批文檔輕微旋轉一度、加一點高斯模糊，發布該基準的那家廠商表現會明顯變差，而其他廠商基本保持穩定——這種落差普通用戶根本不會主動去測。他建議用LLM當裁判、在自己的數據分布上做評測，而不是依賴通用基準。
— Adit Abraham一個pain和chest pain之差，決定理賠結果
Adit提到一家醫療客戶的真實案例：最初的處理流程把病歷裡的chest pain（胸痛）識別成了pain（疼痛），醫生據此查詢病史時查不到相關既往記錄，導致病人的理賠申請被駁回。醫院系統裡的醫生普遍超負荷，根本沒時間逐字核對OCR結果，只能信任工具。在這類場景裡，Reducto發現實際OCR準確率有時低於50%，而一份病歷動輒上萬頁，醫生不可能靠人工逐頁複核。
— Adit Abraham80%的申訴改判，暴露審批系統的系統性錯誤
Adit引用的數字：每年有數以百萬計的Medicare理賠因事先授權被拒，而其中80%的申訴最終推翻了原始決定——這本身說明最初的審批流程存在系統性問題。類似的紙質流程瓶頸也出現在美國移民局（USCIS）的積壓案件裡。他認為，如果能把準確率、成本、延遲都做到近乎無限，讓前沿模型真正頂上這些任務，很多原本只能靠人工處理的流程都可以被大幅簡化。
— Adit Abraham原話 · 已逐字校驗
nobody thinks about complexity when they upload a document to ChatGPT, right? You just expect it to work.
沒人會在把文檔上傳到ChatGPT時去想背後的複雜度，對吧？你就是默認它能用。
Adit Abraham4:10
it's the first time where I find that agents can be better at structured extraction than humans on many tests.
這是我第一次發現，在很多測試裡agent做結構化抽取能比人類做得更好。
Adit Abraham9:19
Today, literally this morning, we crossed our seven billionth page.
就在今天，確切說是今天早上，我們處理的頁數跨過了第70億頁。
Adit Abraham11:24
I remember one of my friends came to dinner with a shaved head. They'd all shaved their heads for a million in ARR.
我記得有個朋友剃了光頭來吃晚飯。他們為了ARR達到一百萬美元，全公司都剃了頭。
Adit Abraham15:30
They would silently drop information. That's the kind of thing that is really, really hard to catch in production.
它們會悄無聲息地漏掉信息。這種問題在生產環境裡是真的非常非常難被發現的。
Adit Abraham22:36
benchmarks have become marketing over time. And the downstream side effect is it's really hard to know what is good in your context when everything is like state of the art all the time.
基準測試慢慢變成了一種營銷手段。由此帶來的後果是，當人人都號稱自己是最先進的，你很難判斷在自己的場景裡到底什麼才是真正好用的。
Adit Abraham24:43
We were talking about individual cases where because the initial pipeline read something as pain instead of chest pain, somebody's claim gets rejected
我們聊到過具體案例：因為最初的處理流程把某處識別成了pain而不是chest pain（胸痛），導致有人的理賠申請被駁回。
Adit Abraham32:49
one of the craziest stats I learned is that in 80% of appeals, the original decision was overturned, which should be shocking because clearly there's some inefficiency in how the decision was originally made.
我瞭解到的一個最離譜的數據是，80%的申訴最終都推翻了原始決定，這其實挺驚人的，因為這顯然說明最初做決定的流程存在某種低效。
Adit Abraham33:49
數字與實體
| Reducto累計處理頁數 | 70億頁 | 11:24 |
| Reducto標價 | 每頁1美分（list price） | 11:24 |
| Reducto支持文件格式數 | 40多種 | 26:43 |
| 美國紙質報稅比例 | 16% | 35:52 |
| Medicare理賠申訴改判率 | 80% | 33:49 |
| 傳統OCR準確率區間 | 70%-80% | 8:17 |
| Reducto當前準確率（多數場景） | 高90%區間 | 9:19 |
| 醫療病歷場景部分OCR準確率 | 低於50% | 32:49 |
術語
- VLM視覺語言模型
- 能同時理解圖像與語義的模型，用來替代傳統基於模板匹配的OCR
- IDP智能文檔處理
- 行業對文檔處理賽道的舊稱，Reducto認為自己的目標比這更大
- harness智能體工作框架
- 圍繞模型搭建的審查、校驗、糾錯流程，而非只調用模型一次
- recall召回率
- 該抽取的信息有沒有被漏掉，是長文檔抽取裡最容易悄悄出錯的指標
收聽指南
做企業AI應用、處理合同、保單、病歷等文檔密集型業務的產品經理和創業者
開頭創業轉型故事偏泛，想直接看技術和數字可從4:10模型技術部分開始