Vercel Labs 发布 agent-desktop:智能体改读桌面应用的无障碍树,按引用点击和输入
Vercel Labs 发布 agent-desktop,让 AI 智能体在 macOS、Windows 和 Linux 上操作桌面应用时无需截图或像素匹配。它把应用的无障碍树读成 JSON,为每个可操作元素分配引用,智能体按引用点击或输入,再重新读取界面核对结果。工具以命令行和 C 库形式提供,本身不含模型,观察—动作—复核的循环留在智能体一侧。
Vercel Labs 发布 agent-desktop,让 AI 智能体在 macOS、Windows 和 Linux 上操作桌面应用时无需截图或像素匹配。它把应用的无障碍树读成 JSON,为每个可操作元素分配引用,智能体按引用点击或输入,再重新读取界面核对结果。工具以命令行和 C 库形式提供,本身不含模型,观察—动作—复核的循环留在智能体一侧。
Stablyai 发布开源应用 Orca,让 Claude Code、Codex 等命令行编码智能体并行运行,每个智能体占用独立的 git 工作树。它把聊天与终端、差异查看、浏览器、命令行工具和手机端配对放在同一个应用里,并支持把文件或图片直接拖入智能体提示、按计划运行提示词,以及在缺少命令行或 API 时让智能体操作桌面应用。按发布说明,任何能在终端里运行的命令行智能体都能接入 Orca。
OpenAI发布GPT-6.1 Terra,一款把视觉推理与计算机操作结合起来、并主打速度与成本的模型,标准API价格比GPT-5.6 Terra和GPT-6.1 Sol低50%。在Agents' Last Exam上,中等推理强度下它比GPT-5.6 Terra高15个百分点而成本约为三分之一;在Terminal-Bench 4.0上,最大推理强度下解出50.3%的任务,超过GPT-5.6 Terra已公布的21.5%。OpenAI同时说明,最复杂的编程任务仍更适合交给GPT-6.1 Sol和GPT-6 Astra。
OpenBot 把 Codex、Claude Code、Grok CLI、OpenCode、Gemini、Cursor CLI 和 Cline CLI 等编码智能体放进同一个本地优先的桌面工作区,每个智能体拥有独立工作区与会话,并共享本地队列、文件传输、内嵌浏览器和智能体间消息。它同时提供共享桌面频道聊天,由一名任务负责人显式委派,并带停止、恢复、改派、归档和恢复控制。该版本是开发预览,智能体在首次启动同意后以 danger-full-access 和 approvalPolicy: never 运行,可读写文件、执行命令、联网并控制浏览器而不再逐次确认。
作者提出 CUA-SWE——一个覆盖 Web、Game、DevOps、Mobile 四个软件工程领域、共 105 个任务的基准、交互式开发环境与评测流水线,让智能体在同一任务中改代码、跑命令、操作运行中的软件并查看截图,用任务专属的确定性测试判定结果;在代码-only 与混合 CUA 两种条件下对比前沿模型,GPT-6-Astra 取得最高四域均值 59.9%,且每个前沿模型在混合 CUA 下聚合成功率都更高,增益集中在必须从应用材料(图纸、服务契约、图形参考卡)中恢复需求的任务上。
该工作构建了 CaptchaArena——一个包含 2 万道交互式验证码谜题、覆盖 20 种类型与五种交互模式的大规模细粒度计算机使用训练数据集,每道题的解答都经真实浏览器回放并由页面验证器接受,同时提供 2 万条截图-动作轨迹(其中 1.8 万条带经裁判过滤的逐步推理标注)以及针对不规则目标的像素掩码监督;基于该数据训练单一 90 亿参数策略 CaptchaAgent,监督微调后平均 Pass@1 达 70.5,再用环境验证器作为奖励做强化学习后升至 71.7,而未训练骨干为 11.4、最强开源 GUI 智能体为 35.2、最强闭源模型为 69.2、人类为 94.1。
该发布介绍 GPT-6.1 Sol,称其在编码、计算机操作和专业工作方面具备接近 Astra 的智能水平,而标准 API 输入与输出 token 价格仅为 Astra 的五分之一。
已读完全部报道