跳到主要内容
返回时间线
langchain.com来源发表:

智能体终于能自己点网页:LangSmith托管浏览器,WebVoyager百项任务通过九成

核心概要

LangSmith 的 Managed Deep Agents 现在为智能体托管一个浏览器,并提供快照、批量操作、截图和转交人工四类工具,让智能体能点击、滚动和填表,而不必依赖 API。在 WebVoyager 的 100 项真实网站日常任务上,这套工具通过 90%,总花费 1.98 美元,是所测七套工具中通过率最高的;最接近的 Browserbase MCP 服务器通过 89%,成本为 9 倍。浏览器会话可按线程或按用户共享,遇到登录页时智能体可把浏览器交给本人操作后再接回。

Source-provided article image: Browser Use in Managed Deep Agents
langchain.com

深度剖析

智能体现在可以在没有 API 的网站上直接干活:读取页面渲染后的内容、点击、滚动、填写表单,像人一样走完订票、取消订阅或提交理赔这类流程。 此前智能体只能调用 API,或者用 curl 抓取页面,而 curl 返回的是 JavaScript 渲染之前的 HTML,也无法点击任何东西。 在 WebVoyager 的 100 项真实网站日常任务上,这套工具通过 90%,总花费 1.98 美元,是所测七套工具中通过率最高的一套。

浏览器由 LangSmith 在独立沙箱中运行,智能体通过四个工具驱动它,其中承担主要工作的是可以一次提交整段操作代码的 browser_run。 browser_snapshot 读取页面的无障碍树并给可交互元素标上 ID,browser_run 用点击、填写等批量动作或 Playwright 风格的 page 对象执行操作,browser_screenshot 截取渲染后的页面,browser_handoff 把浏览器交给真人。 这些工具建立在 Browserbase 的开源浏览器智能体 SDK Stagehand 之上,并用运行浏览器基准、阅读 LangSmith 轨迹、以评测验证每次改动的方式调优。

遇到登录页时,智能体不必拿到密码,而是调用 browser_handoff 说明原因,用户在 LangSmith Studio 的交互卡片里自行登录后点 Hand back,智能体从已登录状态继续。 若把密码交给智能体,密码会进入模型消息、轨迹和模型提供方;转交人工则让凭据留在用户手里。 转交功能随每个托管浏览器提供,并在 Slack 等 Managed Deep Agents 渠道中自动可用;在按用户共享的会话下,登录状态会延续到该用户之后的线程。

启示与展望

已展示的范围是 LangSmith 托管智能体中的浏览器使用:按线程或按用户共享会话、空闲超时后停止计费、登录转交,以及通过 localhost 桥接让浏览器访问智能体沙箱内运行的应用以做端到端测试。

通过率与成本来自 WebVoyager 的 100 项任务这一个基准,文中未给出其他基准上的表现;工具调优的测试细节被留到后续深入文章,当前只说明用基准、轨迹和评测来验证改动。