agent-desktop 是一款面向开发者的桌面自动化工具，它让 AI Agent 通过操作系统的无障碍树读取并操作桌面应用，而不是靠截图猜界面。Agent 每次拿到的是结构化的界面快照，可以据此执行操作、再看结果，适合构建需要反复观察界面状态的桌面自动化流程。
桌面自动化怎么工作
它的工作循环是观察、操作、再观察：先通过无障碍树抓一张带编号的界面快照，快照里列出可操作的元素及其编号；Agent 按编号执行点击、输入等操作；操作完再抓一张新快照，确认界面是不是变成了预期状态。编号只属于生成它的那张快照，界面一变就要重新抓取，过期或含糊的编号会返回明确的错误，调用方重新观察即可。
默认情况下，通过编号执行的操作走无障碍接口完成，不移动鼠标指针，也不抢占当前焦点，对正在使用电脑的人干扰比较小。需要真实物理输入的场景要走专门的有界模式，无界调用不做前台操作和合成输入，这一点在设计流程时要提前留好。
核心功能
项目同时提供命令行工具和 C 语言库，覆盖 macOS、Windows 和 Linux 三类桌面系统，并提供 x64 和 ARM64 原生组件。分发上走常见的包管理器安装，也可以直接下载对应平台的原生归档，把辅助文件放在可执行文件旁边使用。
命令结果用统一的 JSON 信封返回，错误里通常带有错误码、处理建议和下一步提示，方便调用方做重试或分支处理。还有一个可选的屏幕描述辅助工具，可以把屏幕描述发给已配置的模型服务，但它与原生命令行工具是分开的组件，按需选用即可。
适用场景与限制
它适合需要让 Agent 操作真实桌面应用的开发者，比如桌面应用测试辅助、跨应用工作流自动化、需要反复确认界面状态的 Agent 工具链。目标应用只要暴露了可用的无障碍树，就能拿到比像素图像更结构化的界面信息，流程也更容易排错。
限制同样明确：macOS 使用前必须授予无障碍权限，Linux 必须运行在用户图形会话下并具备无障碍服务支持；如果目标应用是自绘界面、没有通过无障碍接口暴露结构，就不适合用它；需要完整模型编排能力的场景，应该把它当作桌面控制底层组件，再搭配其他方案。
部署与维护要点
部署时先按目标平台确认原生归档、辅助文件、系统架构和权限配置是否匹配。macOS 要注意临时目录的归属和权限要求，长期运行的流程要能处理命令主机空闲退出后重建会话的情况。Windows 上与终端相同权限级别的应用通常不需要额外授权。
升级时要让可执行文件与其内置文档及辅助文件保持同一版本，升级后重新检查编号生命周期和错误处理逻辑。另外要提醒一句：快照、剪贴板、截图和调试产物可能包含私人桌面内容，不要直接放进公开日志或上传，维护日志前先做隐私审查。
想要试用 agent-desktop，关注公众号软件教程管家，回复 agent-desktop，即可获取下载链接。
关注「软件教程管家」
回复软件名即取即下：网盘下载链接 + 提取码，一步直达，不用再跳转。
本站资源仅供个人学习交流，请勿用于商业用途。软件与资料版权归原作者所有；如有侵权，请通过公众号「软件教程管家」联系我们，我们将在 24 小时内下架处理。查看免责声明 ›
