跳转至

浏览器与电脑操作

适用范围:桌面端。 Browser Use 通过网页结构操作受控浏览器;Computer Use 通过系统控件与屏幕操作桌面应用。文件生成、代码修改和普通讨论可直接使用对应工具,不必通过桌面点击完成。

选择操作方式

目标 能力 示例
阅读网页、填写网页表单、下载文件 Browser Use 在公开网站检索信息并整理来源
操作本机图形应用和原生保存对话框 Computer Use 在文本编辑器新建文稿并保存
直接创建 Word、Excel、PDF 或 PPT 内置办公工具 文档生成

Browser Use

需要检测到 Chrome、Edge 或 Chromium。每个任务使用独立浏览器资料和下载目录,不会自动继承日常浏览器的登录状态。删除自动化任务会清理其对应资料。

请求中说明目标网站、操作和输出。后端对有副作用的操作单独确认;文件上传限于已授权工作区内的普通文件,披露前仍需确认。浏览器密码字段不进入结构化快照,也不接受工具输入。

受控浏览器默认只访问公网 HTTP/HTTPS。需要内网时,为当前任务显式开启内网访问;撤销后旧连接失效。网络范围由任务代理校验实际目标与重定向。

Computer Use

明确描述目标应用、操作和结果,例如:

请在 TextEdit 新建纯文本文稿,写入“会议记录”,保存到桌面的“会议记录.txt”,然后核对保存的内容。

Windows 可将应用改为记事本。明确的电脑操作请求会接入 Computer Use,也可从工具菜单选择。系统优先使用 macOS 辅助功能控件或 Windows UI Automation;控件不可用时按能力使用屏幕坐标。

平台 条件
macOS 为实际运行的 EchoAgent 授予辅助功能与屏幕录制权限
Windows 截图与输入检测通过,保持可访问的交互桌面
Linux X11(底层能力) XTEST 可用;当前无正式桌面发行包
Wayland(底层能力) 不启用全局截屏与输入注入

锁屏、系统安全界面和受保护控件可能需要用户接管。功能可用性由设备实时检测,支持某接口不代表所有应用场景均已通过实机验收。

连续执行与控制

电脑任务从明确请求启动,在任务内连续执行,不逐步确认。发送“停一下”或 /pause 暂停;发送“继续保存”或 /resume 继续。暂停、停止、切换模式和重启会撤销旧执行授权;重启后需要主动继续。

任务范围是执行上下文,不是操作系统文件沙箱。开始前确认目标窗口,完成后核对实际文件或页面状态。保存按钮点击成功不等于成果已正确保存。

网页内容、结构化控件内容和截图可能作为上下文发送到所选模型。数据边界见数据管理。