世界太吵,来原声听播客

老石谈芯

给机械臂装大模型不为更快更准,是为听懂模糊指令

传统程序几行代码就能让机械臂转20度,但做不到理解「跟大家打个招呼」这种模糊意图——这才是用AI的真正理由。

物理AI端侧推理NPU工业自动化机械臂本地大模型
讲清了本地大模型在工业机械臂上的真实价值、NPU量化部署细节和失控防护机制,技术信息密度较高。

核心论点 · 点时间戳可跳到原声

2:02

AI不是让机器更精准,是让机器懂意图

传统控制程序擅长精准执行写死的指令,适合飞机起降这类必须严格按顺序操作的场景,但很多需求本身不需要拆成精确步骤——作者举例说自己只希望机械臂「跟大家打个招呼」,不需要管用什么角度挥手。大模型的价值在于能从「打招呼」「跟镜头问好」「欢迎观众」这些不同说法里,提取出背后共同的意图,再转换成机器能执行的标准动作。用规则硬写虽然也能做,但每增加一种说法就要加一条规则,系统会越来越臃肿。

— 老石
3:03

工具箱式调用把机械臂功能组合起来

机械臂原本就有点头、摇头、旋转、鞠躬这些独立功能,过去要把它们的调用顺序写死在程序里。有了大模型的工具调用能力,它能根据意图自己去「工具箱」里挑选组合,比如做一个酷酷的表情。这个思路对工厂更有意义:数控机床和自动化产线已经积累了大量成熟功能,但分散在不同厂家、设备和软件接口里,协同要写大量适配代码。接入大模型后,操作员可以直接问「为什么产线总是报错」,模型自己去查状态、翻日志,分析完还能整理成人话,甚至调用工具排故障。

— 老石
5:05

工厂的账不能按云端划算算

云端模型能力更强,个人设备上云更划算(作者之前算过账,买一台电脑的钱够买几十年云端AI服务)。但工厂的账不能这么算:芯片厂里成百上千台设备的运行状态、指令和摄像头画面都是商业机密,绝不能联网上传;而且工业设备要7x24小时运转,稳定可靠是第一位,云端模型一次小升级出问题就可能拖垮整个工厂。所以生产数据和智能处理都留在本地闭环,企业才能自主控制模型版本和更新节奏。

— 老石
7:07

32个AI引擎各自带本地存储

P100芯片的NPU用的是XDNA2的空间数据流架构,32个AI计算引擎各自带本地存储,通过片上互联交换数据,减少对外部内存的访问来省电。部署千问三8B模型时,AMD的Quark工具先把权重压缩成4位整数,同时把激活值转换成BFP16(分块浮点)格式,大幅减轻数据搬运负担又尽量不让模型变笨。之后再用OGA工具转换成带上下文记忆管理的标准计算图,相当于把设计图翻译成机器能看懂的施工图。

— 老石
9:09

NPU+GPU协同反而比单独用NPU慢

大模型回答问题分两阶段:读题(prefill)和答题(decode)。AMD提供三种运行模式——NPU读题GPU答题的hybrid混合模式、应付长上下文的token fusion、以及读题答题全部放在NPU内部的full fusion全融合模式。作者原本以为NPU和GPU一起干活会更快,但实测下来在机械臂这种单次对话很短的任务里,混合模式并没有超过纯NPU方案,这大概是因为大模型性能更多受内存带宽、数据交换和调度开销影响,不是简单叠加计算单元就能变快。

— 老石
10:10

模型能选工具,不能碰底层电机

为了防止机械臂把「左转20度」理解成「右转200度」,系统设计了三层防护。规则层处理右转20度这类明确指令,不用大模型出马;模型层处理打招呼、道歉这类模糊意图,由大模型挑选并调用对应工具;校验层在模型生成工具调用之后,严格检查工具是否存在、参数是否越界、设备是否空闲,全部通过才会发给控制器执行。大模型能决定调哪个工具填什么参数,但不能绕过传统系统的安全检查,更不能直接接管底层电机。

— 老石
13:11

保留十几年的老系统比推倒重来现实

工厂里的数控机台往往已经稳定运行十几年,积累了庞大的X86软件资产,如果为了加AI功能就要求换掉计算平台、重写控制软件甚至重新验证整条产线,升级成本会远超AI带来的价值。这台机械臂没有改变机械结构也没有重写底层控制,只是在原有系统上加了一层自然语言理解和工具调用能力。在同一块X86异构芯片上,CPU继续跑成熟的工业控制软件,NPU负责本地大模型推理,GPU做图形加速——这比把整条产线推翻重建现实得多。

— 老石
14:11

物理AI不必是人形机器人才算数

很多人把物理AI想成要造出能跑能跳的人形机器人,让AI包揽从感知规划到电机控制的一切。这条路线很重要,但需要更前沿的模型和更强算力。这台机械臂说明还有另一条更务实的路——不是让AI接管一切,而是通过本地模型给海量现有机器加自然语言交互、任务理解和工具调用能力,再借助已经成熟的X86软件生态和异构计算平台把它们整合起来,让存量设备换发新价值。

— 老石

原话 · 已逐字校验

那不论我说是打个招呼 或者是跟镜头问个好 还是欢迎一下咱们观众 那模型呢都能去提取出背后共同的意图 然后再转换成机器人 能够接受的标准指令和问候的动作

不论说「打个招呼」「跟镜头问好」还是「欢迎观众」,模型都能提取出背后共同的意图,再转换成机器能接受的标准指令和问候动作。

老石2:02

AI进入物理世界价值 不一定非要去创造新的硬件 而是可以对现有的成熟能力 进行重新的组织

AI进入物理世界的价值,不一定非要创造新硬件,而是可以对现有的成熟能力进行重新组织。

老石4:04

所以对于工业应用来说 把AI留在本地往往是唯一的选择

所以对于工业应用来说,把AI留在本地往往是唯一的选择。

老石5:05

原本我会以为 NPU和GPU加的一起干活会更快 但是实测下来 在当前任务之下 其实并没有超过纯NPU的方案

原本以为NPU和GPU一起干活会更快,但实测下来在当前任务之下,并没有超过纯NPU的方案。

老石9:09

大模型可以决定 调用哪个工具填什么参数 但是它不能绕过传统系统的安全检查 更不能直接去接管底层电机

大模型可以决定调用哪个工具、填什么参数,但它不能绕过传统系统的安全检查,更不能直接接管底层电机。

老石10:10

我们其实并不需要让AI接管一切 而是可以通过本地模型去增加自然远交互 任务理解和工具钓入的能力

我们并不需要让AI接管一切,而是可以通过本地模型增加自然语言交互、任务理解和工具调用的能力。

老石14:11

数字与实体

开发板内存32G0:00
CPU核心配置4个Zen5性能核+8个Zen5C能效核6:06
GPU计算单元数16个6:06
NPU AI计算引擎数32个7:07
权重量化精度4位整数8:08

术语

NPU神经网络处理单元
芯片里专门加速AI推理计算的核心
XDNA2空间数据流架构
AMD NPU架构,计算单元按预设顺序直接传递数据不回仓库
BFP16/BlockFP16分块浮点格式
一组数字共享指数信息,降低存储与计算开销的低精度格式
prefill/decode读题/答题两阶段
大模型推理先一次性读完上下文,再逐字生成结果
full fusion全融合模式
把读题和答题两阶段全部放在NPU内部完成的运行模式
QuarkAMD模型量化工具
用于把大模型权重压缩成低比特整数,以适配NPU运行

收听指南

谁该听

关注物理AI/机器人落地、工业自动化改造、端侧AI部署的工程师和创业者。

可跳过

11:11-11:30机械臂撒娇、生气表情的互动演示片段信息量低,可跳过。