跳到主要内容
检索

# 计算机操作

7 篇关联报道

订阅更新
  1. Vercel Labs 发布 agent-desktop:智能体改读桌面应用的无障碍树,按引用点击和输入

    Vercel Labs 发布 agent-desktop,让 AI 智能体在 macOS、Windows 和 Linux 上操作桌面应用时无需截图或像素匹配。它把应用的无障碍树读成 JSON,为每个可操作元素分配引用,智能体按引用点击或输入,再重新读取界面核对结果。工具以命令行和 C 库形式提供,本身不含模型,观察—动作—复核的循环留在智能体一侧。

  2. stablyai/orca

    Orca把编码智能体分到各自工作树并行跑,聊天、终端与差异审阅收进一个应用

    Stablyai 发布开源应用 Orca,让 Claude Code、Codex 等命令行编码智能体并行运行,每个智能体占用独立的 git 工作树。它把聊天与终端、差异查看、浏览器、命令行工具和手机端配对放在同一个应用里,并支持把文件或图片直接拖入智能体提示、按计划运行提示词,以及在缺少命令行或 API 时让智能体操作桌面应用。按发布说明,任何能在终端里运行的命令行智能体都能接入 Orca。

  3. OpenAI News

    OpenAI发布GPT-6.1 Terra:标准API价格降一半,终端编程任务解出率翻倍

    OpenAI发布GPT-6.1 Terra,一款把视觉推理与计算机操作结合起来、并主打速度与成本的模型,标准API价格比GPT-5.6 Terra和GPT-6.1 Sol低50%。在Agents' Last Exam上,中等推理强度下它比GPT-5.6 Terra高15个百分点而成本约为三分之一;在Terminal-Bench 4.0上,最大推理强度下解出50.3%的任务,超过GPT-5.6 Terra已公布的21.5%。OpenAI同时说明,最复杂的编程任务仍更适合交给GPT-6.1 Sol和GPT-6 Astra。

  4. nightly-labs/openbot

    多个编码智能体住进同一张桌面:各自有工作区和会话,还能互相传消息

    OpenBot 把 Codex、Claude Code、Grok CLI、OpenCode、Gemini、Cursor CLI 和 Cline CLI 等编码智能体放进同一个本地优先的桌面工作区,每个智能体拥有独立工作区与会话,并共享本地队列、文件传输、内嵌浏览器和智能体间消息。它同时提供共享桌面频道聊天,由一名任务负责人显式委派,并带停止、恢复、改派、归档和恢复控制。该版本是开发预览,智能体在首次启动同意后以 danger-full-access 和 approvalPolicy: never 运行,可读写文件、执行命令、联网并控制浏览器而不再逐次确认。

  5. arXiv

    CUA-SWE 用 105 个可执行任务测出:给智能体看运行界面后,GPT-6-Astra 四域均值从 11.3% 升到 59.9%

    作者提出 CUA-SWE——一个覆盖 Web、Game、DevOps、Mobile 四个软件工程领域、共 105 个任务的基准、交互式开发环境与评测流水线,让智能体在同一任务中改代码、跑命令、操作运行中的软件并查看截图,用任务专属的确定性测试判定结果;在代码-only 与混合 CUA 两种条件下对比前沿模型,GPT-6-Astra 取得最高四域均值 59.9%,且每个前沿模型在混合 CUA 下聚合成功率都更高,增益集中在必须从应用材料(图纸、服务契约、图形参考卡)中恢复需求的任务上。

  6. arXiv

    CaptchaArena 用 2 万道可执行验证的验证码题训练出单一策略 CaptchaAgent,平均 Pass@1 从 11.4 提升到 71.7,人类为 94.1

    该工作构建了 CaptchaArena——一个包含 2 万道交互式验证码谜题、覆盖 20 种类型与五种交互模式的大规模细粒度计算机使用训练数据集,每道题的解答都经真实浏览器回放并由页面验证器接受,同时提供 2 万条截图-动作轨迹(其中 1.8 万条带经裁判过滤的逐步推理标注)以及针对不规则目标的像素掩码监督;基于该数据训练单一 90 亿参数策略 CaptchaAgent,监督微调后平均 Pass@1 达 70.5,再用环境验证器作为奖励做强化学习后升至 71.7,而未训练骨干为 11.4、最强开源 GUI 智能体为 35.2、最强闭源模型为 69.2、人类为 94.1。

  7. OpenAI News

    GPT-6.1 Sol 发布:以 Astra 五分之一的标准 API 输入输出 token 价格,提供接近 Astra 的编码、计算机操作与专业工作能力

    该发布介绍 GPT-6.1 Sol,称其在编码、计算机操作和专业工作方面具备接近 Astra 的智能水平,而标准 API 输入与输出 token 价格仅为 Astra 的五分之一。

已读完全部报道