世界太吵,來原聲聽播客

Cognitive Revolution

多智能體系統儀表盤全綠,但任務完成率為零

Cisco發現一個多智能體系統在儀表盤上顯示66%在線、運行正常,實際任務完成率卻是0%——因為現有監控只檢查連接狀態,不檢查語義是否對齊。

多智能體系統企業AICisco語義對齊agent協議認知可觀測性

原視頻在 YouTube 上放不出來,用音頻聽:

多智能體系統已進入企業生產環境,這集給出了具體的失敗率數字,以及Cisco用來修復語義對齊問題的協議設計細節。

核心論點 · 時間戳為按文稿位置估算

6:37

智能體幾個月內跑完三個進化階段

Vijoy 用「蒼蠅年」(fly years) 形容過去六七個月的進展速度——比狗年還快。他把智能體的發展分成三個階段:從孤立的單一agent,到困在同一個harness裡協作的「孤島」(比如 Hugging Face 事件和 Navier-Stokes 案例),再到跨廠商、跨雲、跨組織連接起來的「connected agents」。過去幾個月,Cisco 已經把這種跨組織的多智能體系統真正部署進了 Swisscom、ServiceNow、SoftServe、Webex 等客戶的生產環境,用來做網絡配置、雲平臺工程、視頻監控等任務。

— Vijoy Pandey
13:41

五個agent加形式化模型,做到零錯誤配置

Swisscom 用多智能體系統解決數據中心遷移中的配置問題,目標是讓配置做到100%無錯誤。做法是把問題拆成兩半:一半是agentic workflow,由五個agent去探索所有可能的配置空間;另一半是網絡環境本身的形式化(symbolic)模型,充當「不可違反的物理定律」。Vijoy 把這比作下棋——如果對手知道棋盤上所有可能的配置和所有回應,你永遠贏不了;這個symbolic模型就是那個「知道所有招法」的對手,確保agent不會走出允許範圍之外。

— Vijoy Pandey
17:13

多智能體的價值藏在交接環節,不在單個agent裡

以一筆幾百萬美元的大單為例:銷售理解客戶要什麼,法務看合同條款,財務看定價折扣,產品工程看能做出什麼、何時交付,市場部看能對外宣稱什麼——沒有任何一方獨自擁有這個問題的全貌,中間還有一個GM角色充當verifier。Vijoy 的判斷是:多智能體系統的價值不在於優化某個agent的局部表現,而在於agent之間交接(handoff)的質量——估算變成承諾、承諾變成合同語言、合同語言再被市場部拿去對外宣傳,這條鏈條上的交接才是真正值錢、也最容易出錯的地方。

— Vijoy Pandey
33:12

三次認知失衡,準確率從99%跌到16%

Cisco 檢查了 chat dev 這個多智能體開發環境的公開traces,發現100%的會話裡都存在語義失敗和認知錯位(cognitive misalignment)。在他們自己部署的五智能體系統裡,一次認知失衡讓準確率從99%掉到98%,兩次掉到81%,三次——並不算多——直接掉到16%,已經接近隨機瞎猜。這組數字是 Cisco 後來做 Scope(認知可觀測性平臺)這個項目的直接出發點。

— Vijoy Pandey
37:42

儀表盤全綠的系統,任務完成率可以是零

在一個很簡單的消費級場景——訂一套旅行行程——裡,系統的在線率是66%,按常規dashboard的定義這叫「運轉正常」。但任務完成率是0%,徹底沒完成,agent之間對要達成的目標完全沒有共識。Cisco 把這類問題稱為「安靜的失敗,但後果很響亮」:儀表盤是綠的,因為它們只監控agent是否在運行,卻不監控語義是否對齊,系統失敗發生了卻沒人看見。Scope 就是為了把這種語義層面的漂移變成可見、可調試的信號而建的,構建在標準的OpenTelemetry之上。

— Vijoy Pandey
45:00

「10萬用戶」這種詞,agent之間理解可能完全不同

一個典型誤解案例:銷售告訴工程「給10萬用戶做一個功能」,工程理解成10萬總用戶,客戶實際想要的是10萬併發用戶——這類術語沒對齊的問題該在開工前解決,這是Accord協議負責的事。開工之後,交付日期又會被不同角色理解成不同含義:銷售以為是alpha版,工程以為是第一批交付,客戶以為是最終版,財務以為是簽約放款的日子,而且客戶需求還會持續變化、出現feature creep,這是Concord負責的持續協調和談判。

— Vijoy Pandey
1:08:44

身份、腳手架、模型都分離了,agent還是訂不好一張晚餐桌

Vijoy 把自己的身份、人格和記憶(他管自己的agent叫 Arnold Layne,取自 Pink Floyd 的歌名)同底層harness和模型徹底解耦——同一個Arnold先後跑在 OpenClaw、Armies 之上,調用過 Hermes、Muse、Dots、Grok 等不同模型。但即便做到了這種架構上的解耦,他的agent和太太的agent(Laira Bellacqua)依然無法自主訂好兩週後的一張晚餐桌:模型能力不夠、harness出於謹慎反覆要求人工授權、更重要的是兩人對餐廳、菜系、氛圍的偏好本身需要協商妥協——而這正是agent目前做不到的。

— Vijoy Pandey
1:17:38

潛空間通信不可避免,但要像試藥一樣謹慎推進

Vijoy 認為agent之間用高維潛空間(而非自然語言)直接通信是不可避免的,而且對藥物研發、天氣建模這類難題可能是必需的;但推進方式應該像引入一種新藥一樣——做足測試、按canary方式逐步上線。面對Harari提出的「人類會不會變成被AI系統統治、卻完全看不懂的奶牛」的擔憂,他的回應是:我們已經是「奶牛」了——比如大多數人根本不懂高頻交易算法怎麼運作,但它一直在支配市場。他認為出路不是逆轉這個趨勢,而是靠專家化的agent體系加上Scope這類留痕系統,保證每個決策可審計、可糾偏。

— Vijoy Pandey

原話 · 已逐字校驗

it feels like years. Because the progress here has been so rapid that I like to call it fly years. It's not even dog years. It's definitely not human years.

感覺像過了好幾年。因為這裡的進展實在太快了,我喜歡把它叫做「蒼蠅年」。它甚至不是狗年,絕對不是人類的年份。

Vijoy Pandey6:37

the value in the system is not sitting within one particular agent. The value is actually in the handoff that's happening between these agents and the value is a global outcome for the company, for the enterprise.

系統的價值並不存在於某一個特定的agent身上。價值實際上存在於這些agent之間發生的交接當中,而這個價值對公司、對企業而言是一個全局性的結果。

Vijoy Pandey17:13

we saw that the system was 66% up, which was defined as working perfectly. But it had 0% task completion. 0%.

我們看到系統有66%的時間在線,按定義這就算運轉完美。但它的任務完成率是0%,就是0%。

Vijoy Pandey37:42

It was not a one time thing. It's like things change. There's feature creep. The customer looks at it and says, this is not really what I meant. It's constantly evolving.

這不是一次性的事情。情況會變。會出現需求蔓延(feature creep)。客戶看了之後會說,這不是我真正想要的。它在不斷演變。

Vijoy Pandey47:37

our agents cannot do this autonomously, which is ridiculous. I want us... Our agents to just go ahead, know our profiles

我們的agent沒法自主完成這件事,這太荒謬了。我希望我們……我們的agent能直接去辦,瞭解我們的偏好

Vijoy Pandey1:08:44

I'm super excited about that. And to me, it's inevitable.

對此我非常興奮。在我看來,這是不可避免的。

Vijoy Pandey1:17:38

we're already cows or we're already humans in the system that exist today. That's why subject matter experts exist.

我們今天已經是奶牛了,或者說我們已經是存在於這個系統裡的人類了。這正是為什麼各領域專家會存在。

Vijoy Pandey1:22:21

數字與實體

chat dev 多智能體會話中出現語義失敗的比例100%33:12
單次認知失衡後系統準確率從99%降到98%33:12
兩次認知失衡後系統準確率81%33:12
三次認知失衡後系統準確率16%33:12
旅行行程案例系統在線率66%在線,任務完成率0%37:42

術語

Internet of Cognition認知互聯網
讓多個agent在意圖、協調、推理上實現共同對齊的基礎設施層
ScopeScope(認知可觀測性平臺)
構建在OpenTelemetry之上,用來檢測agent之間語義/認知漂移的開源工具
Accord / ConcordAccord(事前對齊協議)/ Concord(過程中協調協議)
Cisco開源的兩套協議,分別處理開工前的術語對齊和開工中的協商談判
GATs / COGs守護型智能體 / 認知加速型智能體
Raj Reddy提出的兩類AI角色:一類設護欄,一類加速已知流程
neuralese / latent space communication潛空間通信
AI之間直接用高維內部表徵而非自然語言交流的方式

收聽指南

誰該聽

正在搭建或採購多智能體系統的工程負責人、企業AI產品經理,以及想理解個人agent編排邊界的開發者。