工作
sagirimo
2026-09-03
不看屏幕也能看見桌面的盲操手
窗口列表、控件文字、座標全變成 JSON——沒視覺接口也能點、打、按熱鍵。OCR 兜底。
做什麼用
窗口列表、控件文字、座標全變成 JSON——沒視覺接口也能點、打、按熱鍵。OCR 兜底。把『看見』降維成結構化數據,讓無頭 Agent 第一次擁有桌面級操作精度。座標即真相。
應用範圍
用在「工作」這一格。只認 Windows 原生 UI Automation;跨平臺靠 OCR,但座標誤差±5px,點不準細按鈕。
如何使用
- 就按「不看屏幕也能看見桌面的盲操手」這一件來做,不要中途改風格。
- 按它的流程走完這一件,不要跳步驟。
- 輸出要能進倉庫或工單,不要只給感想。
- 做完對照應用範圍,越權的活另找工具。
安裝
git clone --depth 1 https://github.com/sagirimo/BioDSH.gitcp -r BioDSH/biodsh-core/skills/desktop-control ~/.claude/skills/desktop-control