給機械臂裝大模型不為更快更準,是為聽懂模糊指令
傳統程序幾行代碼就能讓機械臂轉20度,但做不到理解「跟大家打個招呼」這種模糊意圖——這才是用AI的真正理由。
核心論點 · 點時間戳可跳到原聲
AI不是讓機器更精準,是讓機器懂意圖
傳統控制程序擅長精準執行寫死的指令,適合飛機起降這類必須嚴格按順序操作的場景,但很多需求本身不需要拆成精確步驟——作者舉例說自己只希望機械臂「跟大家打個招呼」,不需要管用什麼角度揮手。大模型的價值在於能從「打招呼」「跟鏡頭問好」「歡迎觀眾」這些不同說法裡,提取出背後共同的意圖,再轉換成機器能執行的標準動作。用規則硬寫雖然也能做,但每增加一種說法就要加一條規則,系統會越來越臃腫。
— 老石工具箱式調用把機械臂功能組合起來
機械臂原本就有點頭、搖頭、旋轉、鞠躬這些獨立功能,過去要把它們的調用順序寫死在程序裡。有了大模型的工具調用能力,它能根據意圖自己去「工具箱」裡挑選組合,比如做一個酷酷的表情。這個思路對工廠更有意義:數控機床和自動化產線已經積累了大量成熟功能,但分散在不同廠家、設備和軟件接口裡,協同要寫大量適配代碼。接入大模型後,操作員可以直接問「為什麼產線總是報錯」,模型自己去查狀態、翻日誌,分析完還能整理成人話,甚至調用工具排故障。
— 老石工廠的賬不能按雲端划算算
雲端模型能力更強,個人設備上雲更划算(作者之前算過賬,買一臺電腦的錢夠買幾十年雲端AI服務)。但工廠的賬不能這麼算:芯片廠裡成百上千臺設備的運行狀態、指令和攝像頭畫面都是商業機密,絕不能聯網上傳;而且工業設備要7x24小時運轉,穩定可靠是第一位,雲端模型一次小升級出問題就可能拖垮整個工廠。所以生產數據和智能處理都留在本地閉環,企業才能自主控制模型版本和更新節奏。
— 老石32個AI引擎各自帶本地存儲
P100芯片的NPU用的是XDNA2的空間數據流架構,32個AI計算引擎各自帶本地存儲,通過片上互聯交換數據,減少對外部內存的訪問來省電。部署千問三8B模型時,AMD的Quark工具先把權重壓縮成4位整數,同時把激活值轉換成BFP16(分塊浮點)格式,大幅減輕數據搬運負擔又儘量不讓模型變笨。之後再用OGA工具轉換成帶上下文記憶管理的標準計算圖,相當於把設計圖翻譯成機器能看懂的施工圖。
— 老石NPU+GPU協同反而比單獨用NPU慢
大模型回答問題分兩階段:讀題(prefill)和答題(decode)。AMD提供三種運行模式——NPU讀題GPU答題的hybrid混合模式、應付長上下文的token fusion、以及讀題答題全部放在NPU內部的full fusion全融合模式。作者原本以為NPU和GPU一起幹活會更快,但實測下來在機械臂這種單次對話很短的任務裡,混合模式並沒有超過純NPU方案,這大概是因為大模型性能更多受內存帶寬、數據交換和調度開銷影響,不是簡單疊加計算單元就能變快。
— 老石模型能選工具,不能碰底層電機
為了防止機械臂把「左轉20度」理解成「右轉200度」,系統設計了三層防護。規則層處理右轉20度這類明確指令,不用大模型出馬;模型層處理打招呼、道歉這類模糊意圖,由大模型挑選並調用對應工具;校驗層在模型生成工具調用之後,嚴格檢查工具是否存在、參數是否越界、設備是否空閒,全部通過才會發給控制器執行。大模型能決定調哪個工具填什麼參數,但不能繞過傳統系統的安全檢查,更不能直接接管底層電機。
— 老石保留十幾年的老系統比推倒重來現實
工廠裡的數控機臺往往已經穩定運行十幾年,積累了龐大的X86軟件資產,如果為了加AI功能就要求換掉計算平臺、重寫控制軟件甚至重新驗證整條產線,升級成本會遠超AI帶來的價值。這臺機械臂沒有改變機械結構也沒有重寫底層控制,只是在原有系統上加了一層自然語言理解和工具調用能力。在同一塊X86異構芯片上,CPU繼續跑成熟的工業控制軟件,NPU負責本地大模型推理,GPU做圖形加速——這比把整條產線推翻重建現實得多。
— 老石物理AI不必是人形機器人才算數
很多人把物理AI想成要造出能跑能跳的人形機器人,讓AI包攬從感知規劃到電機控制的一切。這條路線很重要,但需要更前沿的模型和更強算力。這臺機械臂說明還有另一條更務實的路——不是讓AI接管一切,而是通過本地模型給海量現有機器加自然語言交互、任務理解和工具調用能力,再借助已經成熟的X86軟件生態和異構計算平臺把它們整合起來,讓存量設備換發新價值。
— 老石原話 · 已逐字校驗
那不論我說是打個招呼 或者是跟鏡頭問個好 還是歡迎一下咱們觀眾 那模型呢都能去提取出背後共同的意圖 然後再轉換成機器人 能夠接受的標準指令和問候的動作
不論說「打個招呼」「跟鏡頭問好」還是「歡迎觀眾」,模型都能提取出背後共同的意圖,再轉換成機器能接受的標準指令和問候動作。
老石2:02
AI進入物理世界價值 不一定非要去創造新的硬件 而是可以對現有的成熟能力 進行重新的組織
AI進入物理世界的價值,不一定非要創造新硬件,而是可以對現有的成熟能力進行重新組織。
老石4:04
所以對於工業應用來說 把AI留在本地往往是唯一的選擇
所以對於工業應用來說,把AI留在本地往往是唯一的選擇。
老石5:05
原本我會以為 NPU和GPU加的一起幹活會更快 但是實測下來 在當前任務之下 其實並沒有超過純NPU的方案
原本以為NPU和GPU一起幹活會更快,但實測下來在當前任務之下,並沒有超過純NPU的方案。
老石9:09
大模型可以決定 調用哪個工具填什麼參數 但是它不能繞過傳統系統的安全檢查 更不能直接去接管底層電機
大模型可以決定調用哪個工具、填什麼參數,但它不能繞過傳統系統的安全檢查,更不能直接接管底層電機。
老石10:10
我們其實並不需要讓AI接管一切 而是可以通過本地模型去增加自然遠交互 任務理解和工具釣入的能力
我們並不需要讓AI接管一切,而是可以通過本地模型增加自然語言交互、任務理解和工具調用的能力。
老石14:11
數字與實體
| 開發板內存 | 32G | 0:00 |
| CPU核心配置 | 4個Zen5性能核+8個Zen5C能效核 | 6:06 |
| GPU計算單元數 | 16個 | 6:06 |
| NPU AI計算引擎數 | 32個 | 7:07 |
| 權重量化精度 | 4位整數 | 8:08 |
術語
- NPU神經網絡處理單元
- 芯片裡專門加速AI推理計算的核心
- XDNA2空間數據流架構
- AMD NPU架構,計算單元按預設順序直接傳遞數據不回倉庫
- BFP16/BlockFP16分塊浮點格式
- 一組數字共享指數信息,降低存儲與計算開銷的低精度格式
- prefill/decode讀題/答題兩階段
- 大模型推理先一次性讀完上下文,再逐字生成結果
- full fusion全融合模式
- 把讀題和答題兩階段全部放在NPU內部完成的運行模式
- QuarkAMD模型量化工具
- 用於把大模型權重壓縮成低比特整數,以適配NPU運行
收聽指南
關注物理AI/機器人落地、工業自動化改造、端側AI部署的工程師和創業者。
11:11-11:30機械臂撒嬌、生氣表情的互動演示片段信息量低,可跳過。