現成數據接口錯誤率超40%，逼得OpenAI自建數據管道
測試發現部分知名MCP數據連接器錯誤率超40%，促使OpenAI放棄直接調用插件，轉而自建數據管道作為金融產品的核心競爭力。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
金融產品=消費級ChatGPT+企業數據層
ChatGPT for Financial Services不是重新造一個模型，而是在同一套ChatGPT能力上疊加企業專屬層：行業模板、S&P等數據源，並且從立項起就和Morgan Stanley、Evercore兩家機構做設計夥伴共同打磨細節。Joseph強調這套企業層思路後面會反覆出現——真正的產品價值不在底層智能，而在為具體行業定製的那一層包裝。
— Joseph KimCodex採用率在金融業從0跳到90%
OpenAI內部統計顯示，軟件工程師對Codex的採用曲線是平穩爬升，但金融、法律、銷售這幾個職能的採用率長期接近零，直到某個時間點突然跳到90%。Joseph把這次躍升精確定位到2月發布Codex桌面應用的那一刻——說明擋在這些行業和AI之間的不是模型能力，而是「怎麼把能力裝進一個順手的產品界面」這件事。
— Joseph Kim現成數據接口錯誤率超40%,倒逼自建管道
團隊最初想直接複用市場上現成的MCP數據連接器接入財報記錄，從純邏輯上這條路更省錢——客戶可能已經買了許可，也已經有現成的MCP,再額外收數據打包費顯得說不過去。但實測發現，一些知名MCP連接器的錯誤率超過40%。於是團隊把這部分數據接入收回自己手裡、端到端管控，額外的費用換來了客戶反饋裡被提及最多的優點——數據本身。
— Joseph KimCodex給你80%,剩下20%才是真生意
Joseph把自己團隊形容成「在OpenAI技術上搭建的創業公司」:Codex自帶記憶、技能和持久性，能把一個金融產品做到80%可用，但直接把Codex包裝成金融產品會失敗——缺的那20%才是決定成敗的部分。他認為這套「在ChatGPT插件基礎設施上疊加自己的秘密武器(數據、UI、集成)」的打法，未來會催生出十億美元級別的生意。
— Joseph Kim把模型權限設計成管一個新同事
下一代更自主的agent要怎麼管？Joseph的思路不是發明新的安全框架，而是照搬人類組織里已有的信任機制——就像新工程師進Google要先拿到readability權限才能動代碼，模型也該有讀寫分級。更進一步，他們借用投行裡分析師、associate、VP、董事總經理這條層層審核鏈：每一層都在給下一層的工作挑錯，這套對付人也會犯錯的機制，原封不動可以拿來對付模型也會犯錯。
— Joseph Kim真正致命的不是事實錯誤，是品味差
Joseph區分了兩類錯誤：一類是事實性錯誤——引用錯一個數字，結論就全錯，這是真正能讓人丟工作的錯誤；另一類是品味錯誤——幻燈片配色難看、排版顯得潦草，不致命但影響工作成果的可用性。他觀察到幻覺這個詞在2022、2023年還常被提起，現在已經很少出現，說明模型在第一類錯誤上進步很快；而第二類主觀判斷類的錯誤，才是接下來真正要攻克的方向。
— Joseph Kim訓練模型的品味，靠人兩兩打分
怎麼教模型什麼叫好看？答案出奇樸素——找一堆人看兩張幻燈片，說哪張更好，拿這個兩兩對比的偏好去訓練獎勵模型。這其實是RLHF最早期的做法，後來大家忙著做可驗證獎勵(代碼能不能編譯通過)反而忘了它。Joseph觀察到一個反直覺的現象：人類幾秒鐘就能判斷哪張幻燈片更好看，而讓模型自己當裁判，反而會堆砌大量推理token、還可能判錯——審美判斷上，人目前仍然比模型強。
— Joseph Kim財務評測集大面積是壞的
行業裡普遍存在的知識工作評測，在Astra這一代已經被判定飽和——沒飽和的那部分題目本身就是壞的，團隊乾脆不再對外報告這項分數。更微妙的是，團隊內部存在一種選擇性懷疑：模型分數變好，大家默認是模型進步了，不會去查；分數不漲，才會回頭深挖。GPT-6在一批財務評測上分數沒怎麼變，深挖之後發現答案key本身是錯的、prompt描述不清——問題出在評測集，不在模型。團隊現在在做的，是一套能預測這個分數能不能真的自動化某個具體崗位工作的新評測體系。
— Joseph Kim原話 · 已逐字校驗
I really do think that there's going to be a billion-dollar business built on top of a ChatGPT plugin.
我真心認為，會有一家十億美元級別的生意，建立在一個ChatGPT插件之上。
Joseph Kim0:08
Some of the MCPs that we connected, some big names, 40% plus error rate on their MCPs, right?
我們接入的一些MCP裡，有幾個知名的，錯誤率超過40%。
Joseph Kim6:08
But 95% of what we built was something that absolutely a startup could do, another company could do.
但我們做的東西里95%,其實任何一家創業公司、任何一家公司都能做出來。
Joseph Kim7:10
Codex will get you about 80% of the way to a product that would be successful in the market. But the 20% is missing.
Codex能把你帶到一個能在市場上成功的產品的80%那裡，但剩下的20%是缺失的。
Joseph Kim8:12
Their work gets passed off to associates. Associates are reviewing the work. Then the associates are kind of adding their secret sauce, their magic, their reasoning. That gets passed off to the VP.
他們的工作交給associate,associate負責審核，再加入自己的判斷和推理，然後往上交給VP。
Joseph Kim12:00
the hallucination used to be a big term that used to come up in 2022, 2023 that doesn't come up nearly as often nowadays.
幻覺這個詞，在2022、2023年還經常被提起，現在已經不怎麼出現了。
Joseph Kim14:00
humans are actually really, really good at aesthetic judgment, right? Actually much better than models is something that we discovered
人類其實在審美判斷上非常非常擅長——我們發現，人比模型強得多。
Joseph Kim16:45
數字與實體
| MCP數據連接器錯誤率 | 40%以上(部分知名連接器) | 6:08 |
| Codex帶來的產品完成度 | 約80%(缺口20%) | 8:12 |
| 自建產品中通用能力佔比 | 95%(非金融專屬能力) | 7:10 |
術語
- MCP模型上下文協議
- 讓模型連接外部數據與工具的標準協議
- RLHF人類反饋強化學習
- 用人工兩兩對比打分來訓練模型
- reward model獎勵模型
- 學習人類偏好、給模型輸出打分的輔助模型
- readability代碼評審資格
- Google內部新人須先獲得才能提交特定語言代碼的權限
- GDP eval知識工作能力評測集
- OpenAI內部一套衡量知識工作自動化能力的基準測試
收聽指南
正在給企業客戶接入第三方數據源或MCP連接器的AI產品經理、工程師，以及評估AI工具落地金融機構的從業者。
最後兩分鐘的招聘環節(25:40起)對非求職者參考價值較低，可跳過。