Vercel Labs 发布 agent-browser:智能体在 shell 里逐条命令驱动浏览器,点不中就直接报错
核心概要
Vercel Labs 发布原生 Rust 命令行工具 agent-browser,让 AI 智能体在 shell 里逐条命令驱动浏览器。此前智能体要操作网页,得自己处理整页内容;现在 snapshot 把页面压成带 @e1 这类引用的紧凑文本,智能体点完一个引用再读一次页面确认结果。浏览器在命令之间保持打开,每步只是一次短 shell 调用,点击目标隐藏、禁用、位于视口之外或被遮挡时会直接报错而不是假装成功。
深度剖析
AI 智能体操作网页的方式从一次性读取整页,变成在 shell 里一条命令一步地驱动一个持续打开的浏览器。 此前智能体面对的是整页内容,需要自己从中定位可操作的元素。 snapshot 返回的页面文本为每个元素附上 @e1 这类引用,智能体点击该引用后再读一次页面核对结果,如此循环。
每条命令都发给一个后台守护进程,由它通过 Chrome DevTools Protocol 控制浏览器。 守护进程在第一条命令时启动,每个 --session 拥有自己的守护进程和浏览器。 默认情况下,守护进程在无命令一小时后关闭无头浏览器并退出,若配置了会话持久化则先保存状态。
点击在目标隐藏、禁用、位于视口之外或被同意横幅等元素遮挡时会失败,而不是报告成功。 失败后需要先关掉遮挡元素,重新取一次快照再重试。 引用只描述快照那一刻的页面,导航或 DOM 变化后必须重新快照才能继续使用引用。
启示与展望
该工具面向需要在 shell 中驱动浏览器的 AI 智能体使用者,材料展示的是 example.com 的快照片段和 open、snapshot、click、get url、close 这一组命令流程。
引用只在快照那一刻有效,导航或 DOM 变化后必须重新取快照;点击在目标隐藏、禁用、位于视口之外或被遮挡时会失败,需要先处理遮挡元素再重试。
