世界太吵,來原聲聽播客

Cognitive Revolution

Agent 瓶頸不在上下文,在記憶的寫改召回遺忘

Uber 13 周燒光 token 預算證明塞上下文是錯的;MongoDB 把 Agent 性能瓶頸指向記憶——寫、改、召回、遺忘,並建議落地從員工用例和人在環開始。

Agent 記憶向量檢索嵌入模型RAG企業 AIMongoDB

原視頻在 YouTube 上放不出來,用音頻聽:

這集給做 Agent 工程的人掃障礙:塊大小怎麼設、10 萬向量閾值、記憶誰寫誰刪;對只想聽模型進展的人價值不大。

核心論點 · 時間戳為按文稿位置估算

6:32

數據庫模式跟著最稀缺的資源走

Pete 把 1970 年 E.F. Codd 的關係模型論文當作起點:當時存儲最貴,規範化表格是理性選擇。2007 年 MongoDB 誕生時稀缺資源變成時間,所以文檔模型故意反規範化,用 JSON/BSON 減少磁盤讀取。他還糾正一個被反覆誤讀的定位:MongoDB 不是「無模式」,而是「模式靈活」——同一集合可以裝不同形狀的文檔,讓 schema 隨產品一起演進。這套設計邏輯說明:數據庫模式應該跟著當時最稀缺的資源走。

— Pete Johnson
16:38

把數據塞滿上下文反而降低質量

Uber 13 周燒光 2026 年 token 預算的新聞,被當成 token maxing 戰略失敗的樣本。把大量數據塞進上下文,成本只是一半問題,質量也會下降:研究表明窗口首尾幾千 token 最重要,中間部分基本是噪音。這條路把行業推向「分類記憶」——每輪只選與當前 agent loop 相關的少數術語,而不是把所有歷史都倒回去。這裡的關鍵不是省錢,而是上下文內部的注意力衰減讓選擇性檢索成為性能問題。

— Nathan Labenz
23:21

AI 功能要從客戶已經疼的地方長出來

MongoDB 的搜索能力是按客戶痛點一層層長出來的:2020 年先做詞法搜索,因為很多客戶在自建 Lucene;隨後做向量搜索,因為向量本質是浮點數組,天然能當一個文檔字段;再把詞法、向量和元數據預過濾做進同一個混合搜索。2025 年乾脆收購 Voyage AI,把嵌入模型也收進來,形成「更好一起」的方案。這個順序本身就說明:基礎設施公司碰 AI 功能,通常是從客戶已經疼的地方開始,而不是先買模型再造場景。

— Pete Johnson
40:10

調塊大小該交給模型,不該靠人試

RAG 的第一個磨人問題是塊大小:塊太小,上下文不夠,檢索質量差;塊太大,存儲漲、精度反而掉,只能靠人工反覆試。Voyage 的「上下文分塊」把句子和額外上下文作為兩個字符串分別送進模型,由模型自動判斷最優塊大小,最終只返回一個向量。這樣可以用很小的塊拿到接近完整上下文的檢索質量,存儲成本也更低,目前已到第四版。這是把工程師反覆調參的過程搬進模型權重裡的一個具體例子。

— Pete Johnson
48:20

嵌入模型沒被商品化,選型決定幻覺

Pete 給了兩個選型閾值:規模上,向量量級到 10 萬左右才真正開始難受;質量上,Voyage 在 Hugging Face RTEB 基準上領先,比別的嵌入模型最高改善 14%,這個差距可能直接表現為有沒有幻覺。他還提醒,嵌入模型沒有被商品化——Anthropic 自己不做 embedding model,所以他的建議是直接用 Voyage。對很多團隊來說,嵌入模型的選型長期被低估;這段把它重新放回性能和幻覺的中心。

— Pete Johnson
1:01:05

記憶有半衰期,必須被主動淘汰

記憶為什麼難?Pete 的比喻是:行業建數據庫已有六十年,做 agent 大約只有十八個月。長期上下文策略已經不再是把整段會話塞回去,而是查詢時召回最佳上下文,回答後把新事實寫回記憶;企業系統還會用 RBAC 控制記憶的共享與隔離。他用同事的話概括整個循環:Write, change, recall, forget。記憶有半衰期,近期信息比幾週甚至幾個月前的信息更重要。這意味著 agent 記憶必須被當成一等公民,要有意的寫入、更新和淘汰。

— Pete Johnson
1:13:10

第一波企業 AI 落地在員工而非客戶

Pete 接觸的大多數 Fortune 500 公司都在做員工面向的用例,並且保留人類在環。原因有兩層:ROI 更好算,這些崗位本來就有 KPI;數據安全後果更輕,員工數據洩露比客戶數據洩露好處理。反過來,客戶可以面對的完全自主 Agent 是當下風險回報比更差的賭注。這段給企業 AI 的預算判斷提供了一個座標:第一波落地更可能發生在內部效率工具,而不是替客戶做最終決定的機器人。

— Pete Johnson
1:24:24

最複雜的客戶不在美國,在墨西哥城和聖保羅

Pete 在墨西哥城和聖保羅遇到了今年最複雜的客戶,而這群客戶通常預設美國競爭對手更先進。他說自己看到的正好相反。原因被歸結為超大規模數據中心和 AI 服務的普及,地理障礙比雲時代更不重要,全球企業獲取技術的能力被拉平。這個觀察說明,判斷一家公司能不能用上前沿 AI,國別標籤已經越來越不可靠。

— Pete Johnson

原話 · 已逐字校驗

Most people think that we're schemaless, and that's not actually true. It's not that we're schemaless, it's that we're schema flexible

大多數人以為我們是無模式的,那不是事實。我們不是無模式的,而是模式靈活的。

Pete Johnson23:21

There's no lamp stack for agents yet in the way that we have with web development. We will get there. Having lived through that having lived through that life cycle, we'll eventually get there. But, like, there's there's no React in Angular. There's no LAMP stack for agents right now.

現在還沒有像 Web 開發那樣的 agent LAMP 棧。我們會走到那一步。我經歷過那個生命週期,最終會走到。但現在 agent 沒有 React 或 Angular,也沒有 LAMP 棧。

Pete Johnson1:10:04

Most of Fortune five hundreds that I talked to are Dewey employee facing use cases with human in the loop for exactly the reasons that you just laid out and for some of the ROI reasons that I laid out before.

我接觸的大多數財富 500 強公司都在做員工面向的用例,並保留人類在環,原因正是你說的那些,再加上我之前講的 ROI 原因。

Pete Johnson1:13:10

there's a presumption in other countries that The US is ahead and doing things that other people are not, and I found the opposite to be true.

其他國家有一種預設,認為美國領先、在做別人沒做的事,但我發現事實正相反。

Pete Johnson1:24:24

every other embedding model is gonna force you to pay tokens during your development cycle to hit against their embedding model.

其他嵌入模型都會迫使你在開發週期裡為調用它們的嵌入模型支付 token 費用。

Pete Johnson1:28:08

數字與實體

MongoDB 佔數據庫市場份額約 3%12:24
Uber 燒光 2026 年 token 預算的時間13 周16:38
Voyage 上下文分塊版本第三版去年夏天發布,第四版最近六週發布40:10
Voyage 相比其他嵌入模型的檢索質量提升最高 14%48:20
使用重排序器可帶來的檢索質量提升5-10%1:03:40
MongoDB 收購 Voyage AI 的價格2.2 億美元1:17:00
Voyage 收購價佔 MongoDB 市值比例小於 1%1:17:20

術語

token maxing塞滿上下文
把預算內 token 全部塞進上下文的做法,成本高且中段質量衰減。
contextual chunking上下文分塊
把句子與額外上下文作為兩條輸入送進模型,自動決定最優塊大小並返回單向量。
Matryoshka embedding套娃式嵌入
支持高維向量截斷降維的嵌入模型,可免去重新 embed 整個語料。
agent skills代理技能
MongoDB 提供的精選系統提示,以 markdown 文件覆蓋數據建模、運維等主題。

收聽指南

誰該聽

做 Agent/RAG 應用的工程師、幫企業選數據棧的技術負責人、關注嵌入模型和向量數據庫賽道的投資人。

可跳過

前 30 分鐘偏產品宣傳,可從 16:38 開始;31:51 附近是發布功能,可快進。