现成数据接口错误率超40%，逼得OpenAI自建数据管道
测试发现部分知名MCP数据连接器错误率超40%，促使OpenAI放弃直接调用插件，转而自建数据管道作为金融产品的核心竞争力。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
金融产品=消费级ChatGPT+企业数据层
ChatGPT for Financial Services不是重新造一个模型，而是在同一套ChatGPT能力上叠加企业专属层：行业模板、S&P等数据源，并且从立项起就和Morgan Stanley、Evercore两家机构做设计伙伴共同打磨细节。Joseph强调这套企业层思路后面会反复出现——真正的产品价值不在底层智能，而在为具体行业定制的那一层包装。
— Joseph KimCodex采用率在金融业从0跳到90%
OpenAI内部统计显示，软件工程师对Codex的采用曲线是平稳爬升，但金融、法律、销售这几个职能的采用率长期接近零，直到某个时间点突然跳到90%。Joseph把这次跃升精确定位到2月发布Codex桌面应用的那一刻——说明挡在这些行业和AI之间的不是模型能力，而是「怎么把能力装进一个顺手的产品界面」这件事。
— Joseph Kim现成数据接口错误率超40%,倒逼自建管道
团队最初想直接复用市场上现成的MCP数据连接器接入财报记录，从纯逻辑上这条路更省钱——客户可能已经买了许可，也已经有现成的MCP,再额外收数据打包费显得说不过去。但实测发现，一些知名MCP连接器的错误率超过40%。于是团队把这部分数据接入收回自己手里、端到端管控，额外的费用换来了客户反馈里被提及最多的优点——数据本身。
— Joseph KimCodex给你80%,剩下20%才是真生意
Joseph把自己团队形容成「在OpenAI技术上搭建的创业公司」:Codex自带记忆、技能和持久性，能把一个金融产品做到80%可用，但直接把Codex包装成金融产品会失败——缺的那20%才是决定成败的部分。他认为这套「在ChatGPT插件基础设施上叠加自己的秘密武器(数据、UI、集成)」的打法，未来会催生出十亿美元级别的生意。
— Joseph Kim把模型权限设计成管一个新同事
下一代更自主的agent要怎么管？Joseph的思路不是发明新的安全框架，而是照搬人类组织里已有的信任机制——就像新工程师进Google要先拿到readability权限才能动代码，模型也该有读写分级。更进一步，他们借用投行里分析师、associate、VP、董事总经理这条层层审核链：每一层都在给下一层的工作挑错，这套对付人也会犯错的机制，原封不动可以拿来对付模型也会犯错。
— Joseph Kim真正致命的不是事实错误，是品味差
Joseph区分了两类错误：一类是事实性错误——引用错一个数字，结论就全错，这是真正能让人丢工作的错误；另一类是品味错误——幻灯片配色难看、排版显得潦草，不致命但影响工作成果的可用性。他观察到幻觉这个词在2022、2023年还常被提起，现在已经很少出现，说明模型在第一类错误上进步很快；而第二类主观判断类的错误，才是接下来真正要攻克的方向。
— Joseph Kim训练模型的品味，靠人两两打分
怎么教模型什么叫好看？答案出奇朴素——找一堆人看两张幻灯片，说哪张更好，拿这个两两对比的偏好去训练奖励模型。这其实是RLHF最早期的做法，后来大家忙着做可验证奖励(代码能不能编译通过)反而忘了它。Joseph观察到一个反直觉的现象：人类几秒钟就能判断哪张幻灯片更好看，而让模型自己当裁判，反而会堆砌大量推理token、还可能判错——审美判断上，人目前仍然比模型强。
— Joseph Kim财务评测集大面积是坏的
行业里普遍存在的知识工作评测，在Astra这一代已经被判定饱和——没饱和的那部分题目本身就是坏的，团队干脆不再对外报告这项分数。更微妙的是，团队内部存在一种选择性怀疑：模型分数变好，大家默认是模型进步了，不会去查；分数不涨，才会回头深挖。GPT-6在一批财务评测上分数没怎么变，深挖之后发现答案key本身是错的、prompt描述不清——问题出在评测集，不在模型。团队现在在做的，是一套能预测这个分数能不能真的自动化某个具体岗位工作的新评测体系。
— Joseph Kim原话 · 已逐字校验
I really do think that there's going to be a billion-dollar business built on top of a ChatGPT plugin.
我真心认为，会有一家十亿美元级别的生意，建立在一个ChatGPT插件之上。
Joseph Kim0:08
Some of the MCPs that we connected, some big names, 40% plus error rate on their MCPs, right?
我们接入的一些MCP里，有几个知名的，错误率超过40%。
Joseph Kim6:08
But 95% of what we built was something that absolutely a startup could do, another company could do.
但我们做的东西里95%,其实任何一家创业公司、任何一家公司都能做出来。
Joseph Kim7:10
Codex will get you about 80% of the way to a product that would be successful in the market. But the 20% is missing.
Codex能把你带到一个能在市场上成功的产品的80%那里，但剩下的20%是缺失的。
Joseph Kim8:12
Their work gets passed off to associates. Associates are reviewing the work. Then the associates are kind of adding their secret sauce, their magic, their reasoning. That gets passed off to the VP.
他们的工作交给associate,associate负责审核，再加入自己的判断和推理，然后往上交给VP。
Joseph Kim12:00
the hallucination used to be a big term that used to come up in 2022, 2023 that doesn't come up nearly as often nowadays.
幻觉这个词，在2022、2023年还经常被提起，现在已经不怎么出现了。
Joseph Kim14:00
humans are actually really, really good at aesthetic judgment, right? Actually much better than models is something that we discovered
人类其实在审美判断上非常非常擅长——我们发现，人比模型强得多。
Joseph Kim16:45
数字与实体
| MCP数据连接器错误率 | 40%以上(部分知名连接器) | 6:08 |
| Codex带来的产品完成度 | 约80%(缺口20%) | 8:12 |
| 自建产品中通用能力占比 | 95%(非金融专属能力) | 7:10 |
术语
- MCP模型上下文协议
- 让模型连接外部数据与工具的标准协议
- RLHF人类反馈强化学习
- 用人工两两对比打分来训练模型
- reward model奖励模型
- 学习人类偏好、给模型输出打分的辅助模型
- readability代码评审资格
- Google内部新人须先获得才能提交特定语言代码的权限
- GDP eval知识工作能力评测集
- OpenAI内部一套衡量知识工作自动化能力的基准测试
收听指南
正在给企业客户接入第三方数据源或MCP连接器的AI产品经理、工程师，以及评估AI工具落地金融机构的从业者。
最后两分钟的招聘环节(25:40起)对非求职者参考价值较低，可跳过。