跳到主要内容
检索

# AppWorld 基准

5 篇关联报道

订阅更新
  1. arXiv

    多轮智能体训练不再只靠终局奖励:把重复出现的低分决策挑出来,ALFWorld 4B 成功率到 97.9%

    PEARL 把同一历史下两条不同结局分支的首次分歧变成可复用的决策记忆,只加强反复出现的低分决策的负优势,在 ALFWorld 4B 上把平均成功率做到 97.9%,比最强基线高 2.7 个百分点。

  2. arXiv

    云端写程序、端侧小模型答问:AppWorld 成功率最高提升 14.9 个百分点,用户数据不出设备

    云端模型先写好程序、把运行时才出现的用户数据问题交给端侧小模型回答,这种分工在 AppWorld 上让纯代码智能体的成功率在全部六种骨干模型与测试划分组合中都有提升,最高提升 14.9 个百分点,同时用户数据留在设备上。

  3. arXiv

    分层路由控制让MoE智能体RL在AppWorld与AutomationBench成功率提升逾10点

    该工作系统研究了智能体后训练与MoE专家选择的关系,发现现成MoE模型的路由已按操作语义(如READ、UPDATE)形成专门化结构,而标准RL会破坏这一结构;作者提出分层路由控制框架,在轮次级用互信息对齐专家选择与操作标签、在token级用带阈值的相邻一致性正则,并加入熵门控以稳定训练,在AppWorld与AutomationBench上使PPO、GRPO、LOOP、GiGPO的成功率提升超过10点,同时提升推理效率。

  4. arXiv

    ControlScope 用同一执行状态对比三种修订权限:扩大改写范围在文件系统任务上多解 2–3 题,但也会打断已可行的续写

    ControlScope 在相同的公开执行状态下比较三种嵌套的修订权限——继续当前程序(Keep)、只改下一次工具调用的数据参数(Arg)、以及替换未完成的工作流(Full)——在文件系统任务、ALFWorld 与 AppWorld 上评估一次性与持续评审,发现 Full 在 20 个文件系统任务上以两个源程序与三次推理评审抽样完成 15–16 题而 Keep 为 13 题,四次快速抽样则为 10–13 题对 13 题,ALFWorld 快速面板在 87 个任务上得分为 85/86/87、在 134 个任务上为 134/134/127,AppWorld V1 官方测试 585 个任务实例的净差异很小,同时冻结回放显示可行的智能体自写替换会被后续修订打

  5. arXiv

    Harness-Zero 把进化出的智能体外壳蒸馏进 Qwen3.5-9B 权重,宏平均成功率从 23.3% 升到 44.3%,超过保留外壳的 41.7%

    该工作提出 Harness-Zero:先用 agent-as-harness 让一个“驾驭智能体”在学生智能体的响应边界上审阅并最小化改写其提案,把进化外壳(工具、中间件、技能、记忆)的指导转写成目标外壳动作空间内的可执行监督,再对审阅后的轨迹做 SFT;在 SpreadsheetBench Verified、AppWorld、USPTO 逆合成三个域上,免训练的 agent-as-harness 在六个基准–模型设置上平均 81.1%,高于 code-as-harness 的 78.1%,而蒸馏后的 Qwen3.5-9B 在仅保留最小目标外壳时宏平均从 23.3% 提升到 44.3%,超过基座模型仍挂载进化外壳的 41.7%,并

已读完全部报道