浏览器与电脑操作¶
适用范围:桌面端。 Browser Use 通过网页结构操作受控浏览器;Computer Use 通过系统控件与屏幕操作桌面应用。文件生成、代码修改和普通讨论可直接使用对应工具,不必通过桌面点击完成。
选择操作方式¶
| 目标 | 能力 | 示例 |
|---|---|---|
| 阅读网页、填写网页表单、下载文件 | Browser Use | 在公开网站检索信息并整理来源 |
| 操作本机图形应用和原生保存对话框 | Computer Use | 在文本编辑器新建文稿并保存 |
| 直接创建 Word、Excel、PDF 或 PPT | 内置办公工具 | 文档生成 |
Browser Use¶
需要检测到 Chrome、Edge 或 Chromium。每个任务使用独立浏览器资料和下载目录,不会自动继承日常浏览器的登录状态。删除自动化任务会清理其对应资料。
请求中说明目标网站、操作和输出。后端对有副作用的操作单独确认;文件上传限于已授权工作区内的普通文件,披露前仍需确认。浏览器密码字段不进入结构化快照,也不接受工具输入。
受控浏览器默认只访问公网 HTTP/HTTPS。需要内网时,为当前任务显式开启内网访问;撤销后旧连接失效。网络范围由任务代理校验实际目标与重定向。
Computer Use¶
明确描述目标应用、操作和结果,例如:
请在 TextEdit 新建纯文本文稿,写入“会议记录”,保存到桌面的“会议记录.txt”,然后核对保存的内容。
Windows 可将应用改为记事本。明确的电脑操作请求会接入 Computer Use,也可从工具菜单选择。系统优先使用 macOS 辅助功能控件或 Windows UI Automation;控件不可用时按能力使用屏幕坐标。
| 平台 | 条件 |
|---|---|
| macOS | 为实际运行的 EchoAgent 授予辅助功能与屏幕录制权限 |
| Windows | 截图与输入检测通过,保持可访问的交互桌面 |
| Linux X11(底层能力) | XTEST 可用;当前无正式桌面发行包 |
| Wayland(底层能力) | 不启用全局截屏与输入注入 |
锁屏、系统安全界面和受保护控件可能需要用户接管。功能可用性由设备实时检测,支持某接口不代表所有应用场景均已通过实机验收。
连续执行与控制¶
电脑任务从明确请求启动,在任务内连续执行,不逐步确认。发送“停一下”或 /pause 暂停;发送“继续保存”或 /resume 继续。暂停、停止、切换模式和重启会撤销旧执行授权;重启后需要主动继续。
任务范围是执行上下文,不是操作系统文件沙箱。开始前确认目标窗口,完成后核对实际文件或页面状态。保存按钮点击成功不等于成果已正确保存。
网页内容、结构化控件内容和截图可能作为上下文发送到所选模型。数据边界见数据管理。