工作
sagirimo
2026-09-03
不看屏幕也能看见桌面的盲操手
窗口列表、控件文字、坐标全变成 JSON——没视觉接口也能点、打、按热键。OCR 兜底。
做什么用
窗口列表、控件文字、坐标全变成 JSON——没视觉接口也能点、打、按热键。OCR 兜底。把『看见』降维成结构化数据,让无头 Agent 第一次拥有桌面级操作精度。坐标即真相。
应用范围
用在「工作」这一格。只认 Windows 原生 UI Automation;跨平台靠 OCR,但坐标误差±5px,点不准细按钮。
如何使用
- 就按「不看屏幕也能看见桌面的盲操手」这一件来做,不要中途改风格。
- 按它的流程走完这一件,不要跳步骤。
- 输出要能进仓库或工单,不要只给感想。
- 做完对照应用范围,越权的活另找工具。
安装
git clone --depth 1 https://github.com/sagirimo/BioDSH.gitcp -r BioDSH/biodsh-core/skills/desktop-control ~/.claude/skills/desktop-control