跳到主要内容
返回时间线
Cloudflare来源发表:

智能体读网页不再自己啃 HTML:Cloudflare 把抓取与转 Markdown 做成一个工具

导语

Cloudflare 的 Agents SDK 新增 web_fetch 工具,让智能体按 URL 取回网页、PDF 和受支持的 Office 文档,并借 Workers AI 的 Markdown 转换把内容变成模型可读的文本。

Source-provided article image: Changelog
Cloudflare

正文

智能体现在可以像调用普通工具一样读取网页和文档,取回的不只是正文,还包括最终 URL、HTTP 状态和内容类型。 此前这类读取需要智能体自己处理页面格式,或由开发者另行搭建抓取与转换流程。 该工具在 Agents SDK 中提供,对支持 Markdown for Agents 的站点直接请求 Markdown,其余内容经 Workers AI 的 Markdown 转换后交给模型。

长页面不会一次性塞给模型,而是分成较小的段落返回,并附带一个偏移量供模型继续读取。 这改变了整页内容必须一次进入上下文的情形。 开发者可以控制智能体允许抓取的主机、响应大小、超时和重定向。

当智能体同时拥有 web_search 工具时,模型会被指示用 web_fetch 去读取搜索返回的页面。 搜索与阅读由此串成一条流程,而不是各自独立。 该工具适用于任何 harness,SDK 自带 AI SDK 与 TanStack AI 适配器;不调用模型时也可用 agents/webfetch 中的 fetchWeb()、windowWebFetchPage() 和 renderWebFetchPage() 直接抓取,且不需要 Durable Object 或浏览器。

接下来

该工具面向使用 Cloudflare Agents SDK 的开发者,需要 v0.28.0 或更高版本,并在打开 harness 前加入 Pi Durable 扩展注册表。它读取网页、PDF 和受支持的 Office 文档,开发者可控制允许抓取的主机、响应大小、超时和重定向。

来源没有给出抓取成功率、转换质量或延迟方面的数据,也没有说明哪些 Office 格式属于受支持范围。

来源