多智能体系统仪表盘全绿,但任务完成率为零
Cisco发现一个多智能体系统在仪表盘上显示66%在线、运行正常,实际任务完成率却是0%——因为现有监控只检查连接状态,不检查语义是否对齐。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 时间戳为按文稿位置估算
智能体几个月内跑完三个进化阶段
Vijoy 用「苍蝇年」(fly years) 形容过去六七个月的进展速度——比狗年还快。他把智能体的发展分成三个阶段:从孤立的单一agent,到困在同一个harness里协作的「孤岛」(比如 Hugging Face 事件和 Navier-Stokes 案例),再到跨厂商、跨云、跨组织连接起来的「connected agents」。过去几个月,Cisco 已经把这种跨组织的多智能体系统真正部署进了 Swisscom、ServiceNow、SoftServe、Webex 等客户的生产环境,用来做网络配置、云平台工程、视频监控等任务。
— Vijoy Pandey五个agent加形式化模型,做到零错误配置
Swisscom 用多智能体系统解决数据中心迁移中的配置问题,目标是让配置做到100%无错误。做法是把问题拆成两半:一半是agentic workflow,由五个agent去探索所有可能的配置空间;另一半是网络环境本身的形式化(symbolic)模型,充当「不可违反的物理定律」。Vijoy 把这比作下棋——如果对手知道棋盘上所有可能的配置和所有回应,你永远赢不了;这个symbolic模型就是那个「知道所有招法」的对手,确保agent不会走出允许范围之外。
— Vijoy Pandey多智能体的价值藏在交接环节,不在单个agent里
以一笔几百万美元的大单为例:销售理解客户要什么,法务看合同条款,财务看定价折扣,产品工程看能做出什么、何时交付,市场部看能对外宣称什么——没有任何一方独自拥有这个问题的全貌,中间还有一个GM角色充当verifier。Vijoy 的判断是:多智能体系统的价值不在于优化某个agent的局部表现,而在于agent之间交接(handoff)的质量——估算变成承诺、承诺变成合同语言、合同语言再被市场部拿去对外宣传,这条链条上的交接才是真正值钱、也最容易出错的地方。
— Vijoy Pandey三次认知失衡,准确率从99%跌到16%
Cisco 检查了 chat dev 这个多智能体开发环境的公开traces,发现100%的会话里都存在语义失败和认知错位(cognitive misalignment)。在他们自己部署的五智能体系统里,一次认知失衡让准确率从99%掉到98%,两次掉到81%,三次——并不算多——直接掉到16%,已经接近随机瞎猜。这组数字是 Cisco 后来做 Scope(认知可观测性平台)这个项目的直接出发点。
— Vijoy Pandey仪表盘全绿的系统,任务完成率可以是零
在一个很简单的消费级场景——订一套旅行行程——里,系统的在线率是66%,按常规dashboard的定义这叫「运转正常」。但任务完成率是0%,彻底没完成,agent之间对要达成的目标完全没有共识。Cisco 把这类问题称为「安静的失败,但后果很响亮」:仪表盘是绿的,因为它们只监控agent是否在运行,却不监控语义是否对齐,系统失败发生了却没人看见。Scope 就是为了把这种语义层面的漂移变成可见、可调试的信号而建的,构建在标准的OpenTelemetry之上。
— Vijoy Pandey「10万用户」这种词,agent之间理解可能完全不同
一个典型误解案例:销售告诉工程「给10万用户做一个功能」,工程理解成10万总用户,客户实际想要的是10万并发用户——这类术语没对齐的问题该在开工前解决,这是Accord协议负责的事。开工之后,交付日期又会被不同角色理解成不同含义:销售以为是alpha版,工程以为是第一批交付,客户以为是最终版,财务以为是签约放款的日子,而且客户需求还会持续变化、出现feature creep,这是Concord负责的持续协调和谈判。
— Vijoy Pandey身份、脚手架、模型都分离了,agent还是订不好一张晚餐桌
Vijoy 把自己的身份、人格和记忆(他管自己的agent叫 Arnold Layne,取自 Pink Floyd 的歌名)同底层harness和模型彻底解耦——同一个Arnold先后跑在 OpenClaw、Armies 之上,调用过 Hermes、Muse、Dots、Grok 等不同模型。但即便做到了这种架构上的解耦,他的agent和太太的agent(Laira Bellacqua)依然无法自主订好两周后的一张晚餐桌:模型能力不够、harness出于谨慎反复要求人工授权、更重要的是两人对餐厅、菜系、氛围的偏好本身需要协商妥协——而这正是agent目前做不到的。
— Vijoy Pandey潜空间通信不可避免,但要像试药一样谨慎推进
Vijoy 认为agent之间用高维潜空间(而非自然语言)直接通信是不可避免的,而且对药物研发、天气建模这类难题可能是必需的;但推进方式应该像引入一种新药一样——做足测试、按canary方式逐步上线。面对Harari提出的「人类会不会变成被AI系统统治、却完全看不懂的奶牛」的担忧,他的回应是:我们已经是「奶牛」了——比如大多数人根本不懂高频交易算法怎么运作,但它一直在支配市场。他认为出路不是逆转这个趋势,而是靠专家化的agent体系加上Scope这类留痕系统,保证每个决策可审计、可纠偏。
— Vijoy Pandey原话 · 已逐字校验
it feels like years. Because the progress here has been so rapid that I like to call it fly years. It's not even dog years. It's definitely not human years.
感觉像过了好几年。因为这里的进展实在太快了,我喜欢把它叫做「苍蝇年」。它甚至不是狗年,绝对不是人类的年份。
Vijoy Pandey6:37
the value in the system is not sitting within one particular agent. The value is actually in the handoff that's happening between these agents and the value is a global outcome for the company, for the enterprise.
系统的价值并不存在于某一个特定的agent身上。价值实际上存在于这些agent之间发生的交接当中,而这个价值对公司、对企业而言是一个全局性的结果。
Vijoy Pandey17:13
we saw that the system was 66% up, which was defined as working perfectly. But it had 0% task completion. 0%.
我们看到系统有66%的时间在线,按定义这就算运转完美。但它的任务完成率是0%,就是0%。
Vijoy Pandey37:42
It was not a one time thing. It's like things change. There's feature creep. The customer looks at it and says, this is not really what I meant. It's constantly evolving.
这不是一次性的事情。情况会变。会出现需求蔓延(feature creep)。客户看了之后会说,这不是我真正想要的。它在不断演变。
Vijoy Pandey47:37
our agents cannot do this autonomously, which is ridiculous. I want us... Our agents to just go ahead, know our profiles
我们的agent没法自主完成这件事,这太荒谬了。我希望我们……我们的agent能直接去办,了解我们的偏好
Vijoy Pandey1:08:44
I'm super excited about that. And to me, it's inevitable.
对此我非常兴奋。在我看来,这是不可避免的。
Vijoy Pandey1:17:38
we're already cows or we're already humans in the system that exist today. That's why subject matter experts exist.
我们今天已经是奶牛了,或者说我们已经是存在于这个系统里的人类了。这正是为什么各领域专家会存在。
Vijoy Pandey1:22:21
数字与实体
| chat dev 多智能体会话中出现语义失败的比例 | 100% | 33:12 |
| 单次认知失衡后系统准确率 | 从99%降到98% | 33:12 |
| 两次认知失衡后系统准确率 | 81% | 33:12 |
| 三次认知失衡后系统准确率 | 16% | 33:12 |
| 旅行行程案例系统在线率 | 66%在线,任务完成率0% | 37:42 |
术语
- Internet of Cognition认知互联网
- 让多个agent在意图、协调、推理上实现共同对齐的基础设施层
- ScopeScope(认知可观测性平台)
- 构建在OpenTelemetry之上,用来检测agent之间语义/认知漂移的开源工具
- Accord / ConcordAccord(事前对齐协议)/ Concord(过程中协调协议)
- Cisco开源的两套协议,分别处理开工前的术语对齐和开工中的协商谈判
- GATs / COGs守护型智能体 / 认知加速型智能体
- Raj Reddy提出的两类AI角色:一类设护栏,一类加速已知流程
- neuralese / latent space communication潜空间通信
- AI之间直接用高维内部表征而非自然语言交流的方式
收听指南
正在搭建或采购多智能体系统的工程负责人、企业AI产品经理,以及想理解个人agent编排边界的开发者。