跳到主要内容
返回时间线
arXiv来源发表:

RecreationWorld:用“复刻”把界面操作与写代码缝进同一条长程轨迹

核心概要

该工作提出 RecreationWorld 框架与 RecreationBench 基准:给定一个正在运行的参考应用,智能体须自行探索其行为并交付可构建、可运行的复刻实现,框架在 Ubuntu、macOS、Windows、Android、Web 五个平台提供可复现环境与统一 GUI+编码工具链,用参考派生的隐藏程序化与视觉断言自动评分,并据此生成 35,000 条经筛选的复刻轨迹用于训练;评测显示 GPT-6 Astra 以 58.1% 总体得分领先,但仅 2.8% 任务通过全部程序化测试,且复刻在静态界面结构上比在交互与计算结果上更可靠。

AI-generated editorial illustration: RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents

深度剖析

提出以“复刻”为核心任务的混合计算机使用智能体框架:智能体只能通过操作运行中的参考来获得规格,交付物则是必须编译并运行的源码,从而强制形成探索—实现—验证的循环。 既有基准多偏重单一交互模式(纯 GUI 或纯终端),该工作把两种模态放进同一个长程任务,并明确不规定动作顺序与模态。 任务定义与五平台交付契约(桌面源码+构建/启动、Android Gradle 产出 APK、Web 自包含 index.html)在正文与表 1 中给出;轨迹统计显示 RecreationBench 中位 282.5 次顶层调用、每 100 次调用 9.08 次 GUI–代码编辑切换。

构建了可扩展、可验证的环境与评测层:运行中的参考充当 oracle,可派生隐藏行为测试,程序化断言读取 AT-SPI、AXUIElement、UI Automation、UiAutomator,视觉断言由固定 VLM 裁判在冻结检查点判定。 把“参考即预言机”的验证不对称性落到跨五平台的可复现流水线,并让评分与实现语言、框架、架构无关。 测试须先在参考上通过并经人工复核后才冻结;覆盖审计显示约 77% 用例离开起始界面、24% 跨越两个以上界面、94.2% 检查交互结果、40.7% 要求精确期望值;81 个任务打包 393 个 fixture 文件。

用复刻轨迹训练可迁移到复刻之外:从五个平台各取 7,000 条高分轨迹组成 35,000 条 SFT 混合数据,微调两个模型初始化,在五个分布外基准上均高于各自首个被评估检查点,增益最高 17.9 个百分点。 提供初步证据表明复刻监督可迁移到编码与混合计算机使用任务,而非仅提升复刻本身。 五个 OOD 基准(ProgramBench、GameCraft-Bench、Vision2Web、OSWorld 2.0、WeaveBench)各检查点单次试验,曲线并非单调;行为指标显示自输出图像读取、GUI 观察与交互占比上升,作者说明这些描述性变化不构成因果。

给出当前前沿模型的能力画像与失败模式:静态界面结构比交互与计算结果更易复现,复刻产物普遍更小、更集中,且最终一次源码修改后常缺少重新启动与检查。 把“分数差距”拆解为可定位的类别差距与过程指标,而非单一总分。 在 Ubuntu、macOS、Windows、Android 的 16 个模型–平台比较中,结构类平均通过率 15 次最高,最弱类别落后 9.1–34.4 个百分点;Web 静态内容比交互高 28.2–36.7 个百分点;89.4% 复刻生产源码少于参考,中位 LOC 比为 16.9%;严格“最终编辑—重启—观察”序列仅 23.6–47.5% 轨迹完成。

启示与展望

该框架面向可固定、可复现的离线参考应用:桌面与 Android 采用源码不可见设定,Web 因浏览器必然接收前端代码而改为保护真值与测试;任务池来自开源应用与自建站点,覆盖 Ubuntu、macOS、Windows、Android、Web 五平台。它适用于研究长程探索—实现—验证循环、生成可自动评分的训练经验,以及比较不同模型在界面与代码之间的协调方式。对依赖在线服务、外部状态变化或真实用户交互的工作流,当前设定并不覆盖。

隐藏测试套件只采样有限的状态与交互路径,通过它并不等于在所有状态下等价;公开参考实现可能出现在预训练数据中,行级重叠筛查无法排除改名、重构或片段级记忆;Android 未提供包级网络出口证明,已安装参考包在原理上仍可恢复;Web 的抓取—重放检测存在边界,经中间结构转换的参考内容可能逃逸检测;可编程运行时对比为单次 rollout 的端到端配置比较,不能分离持久运行时的因果作用;此外,本次读取为全文,但图表与附录中的部分数值细节以正文转述为准,若需精确复现仍应查阅原始图表。

来源