跳到主要内容
返回时间线
langchain.com来源发表:

智能体开始自己点网页:登录时把浏览器窗口交还给人,密码不进模型消息

核心概要

Managed Deep Agents v0.10 为智能体加入浏览器使用与异步子智能体两项能力。此前智能体无法在无 API 的网站上执行操作,用 curl 取回的只是 JavaScript 渲染前的 HTML,也无法点击;子智能体则以内联方式运行,调用方必须等待。新版本在独立沙箱中运行浏览器并自动提供快照、操作、截图与移交工具,登录时由人接管窗口;异步子智能体在后台线程运行,完成后主动通知编排智能体。

AI-generated editorial illustration: Managed Deep Agents v0.10: Browser use and asynchronous subagents

深度剖析

智能体现在可以在没有 API 的网站上完成订票、取消订阅或提交理赔这类原本需要人点击页面的操作。 此前智能体虽能推理出任务步骤,却无法在无 API 的网站上采取行动,用 curl 抓取页面只能得到 JavaScript 渲染之前的 HTML,也无法点击任何元素。 发布说明把这一能力与个人智能体和编码智能体的需求并列,并提到 DataDome 的智能体浏览器请求在 9 月单月增长 4.7 倍。

浏览器由 Managed Deep Agents 在自有的 LangSmith 沙箱中运行,并自动向智能体加入四个浏览器工具。 这四个工具分别是读取页面无障碍树并分配元素 ID 的 browser_snapshot、通过 JavaScript 或针对快照 ID 的批量动作进行导航与交互的 browser_run、截取页面并可存图的 browser_screenshot,以及把窗口控制权交给人的 browser_handoff。 默认每个会话拥有自己的浏览器并在多轮之间复用,不携带其他线程的 cookie 或登录状态;设置 scope="user" 后每位登录用户拥有一个浏览器,登录状态跨其所有会话保留。

遇到登录或双重验证提示时,智能体调用 browser_handoff 把窗口交给用户,密码不会进入模型的消息或追踪记录。 多数浏览器智能体在登录墙或双重验证提示处停下,而移交让用户自己完成登录,智能体随后检查页面确认登录是否成功并继续。 移交立即返回,智能体可在等待期间处理其他工作,移交链接在 15 分钟后过期。

子智能体可以异步运行,编排智能体在后台任务执行期间继续与用户对话。 此前子智能体以内联方式运行,智能体调用后必须等待其回答,长任务会让对话者一起等待,并阻塞与编排智能体的进一步交互。 在子智能体定义中加入 async 即可启用;子智能体完成时若编排智能体正忙,它会在每次模型调用前检查未完成任务,若空闲则由子智能体以新运行唤醒它,若停在审批处则审批不受影响。

启示与展望

发布说明面向使用 Managed Deep Agents 构建智能体的开发者,描述的是 v0.10 以公开测试形式提供的浏览器使用与异步子智能体能力及其配置方式。

发布说明未给出浏览器任务或异步子智能体的成功率与对照评测;v0.10 处于公开测试阶段,并包含移除 connectors.mcp() 与 sandbox scope 选项等破坏性变更。