跳到主要内容
检索

# ALFWorld 基准

15 篇关联报道

订阅更新
  1. arXiv

    决策模型当不好行动者也能当老师:JEV 用整条轨迹打分,把 1.5B 策略成功率从 72.8% 提到 82.9%

    决策模型通常按“会不会行动”来评价,但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师,在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”,它给出的分数加进 GRPO 后,Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%,在 WebShop 上从 56.8% 升到 71.4%;而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。

  2. arXiv

    语言智能体不再只训模型:JoMoHa把运行时生成也纳入强化学习,三环境平均成功率70.3%

    语言智能体的表现同时取决于模型权重和承载它的运行时程序,也就是harness,只优化其中一边会被另一边卡住。JoMoHa把生成harness的Engineer和按harness执行任务的Solver放进同一个强化学习过程,用同一次任务结果同时训练两个策略。在ALFWorld、WebShop和DBBench上,它的成功率分别为97.0%、45.8%和68.0%,三者等权平均70.3%,高于所评估的只训权重、只改harness以及交替训练的做法。

  3. arXiv

    同样的工具,换一种接口写法:智能体行为就变了,修复表达后六项设置分数最高涨9.0分

    在可执行能力完全对齐的条件下,MCP 与 CLI 两种接口写法仍会让语言智能体走出不同的任务轨迹。研究用共享语义动作契约构造两套接口,在六个模型、三个交互环境上比较,2,004 对轨迹中有 94.3% 出现结构化分歧;据此设计的 DART 在语义决策已确定时只修复接口表达,使六项基准–接口设置的分数全部提升,最高 9.0 分,并在三个环境的 MCP 下降低 token 开销。

  4. arXiv

    长程智能体训练不再只看重复状态:把任务进度写进比较条件,WebShop成功率再涨3.96与5.16个百分点

    长程语言模型智能体的训练改在已有轨迹组内构造动作偏好:比较条件同时看动作前状态与任务进度,WebShop上Qwen3-4B与8B的平均成功率分别提高3.96和5.16个百分点。

  5. arXiv

    专家轨迹不再塞进提示词:拟合一个概念向量,三个文本任务平均分随模型变大一路升到75.9

    CB-Agent把专家轨迹里的环境动作决策抽出来,拟合一个可复用的概念向量来给候选动作打分,在TextWorld、ALFWorld、ScienceWorld上三个Qwen3规模都拿到所评方法里最高的跨基准平均分。

  6. arXiv

    多轮智能体蒸馏不再把学生推理喂给老师:ALFWorld 上 4B 学生以 43.39% 反超 32B 教师

    多轮智能体蒸馏把教师监督改挂在交互状态上,只保留已执行动作与环境观测,Qwen3-4B 学生在 ALFWorld Seen 上以 43.39% 反超其 32B 教师。

  7. arXiv

    决策模型把单步成本砍掉七成,任务却未必更快完成:五个智能体、4500次执行给出的分界

    把智能体的动作选择换成Jev这类快速决策模型后,单步决策成本降了66.1%到78.4%、耗时降了73.9%到81.5%,但在ALFWorld上任务成功率基本持平、在两个移动端智能体上明显下滑,说明省下的钱不一定变成交付出去的成功任务。

  8. arXiv

    多轮智能体训练不再只靠终局奖励:把重复出现的低分决策挑出来,ALFWorld 4B 成功率到 97.9%

    PEARL 把同一历史下两条不同结局分支的首次分歧变成可复用的决策记忆,只加强反复出现的低分决策的负优势,在 ALFWorld 4B 上把平均成功率做到 97.9%,比最强基线高 2.7 个百分点。

  9. arXiv

    RELACE用原始与结果条件双情境似然比对动作打分,在ALFWorld与WebShop上取得所比较方法中最高的平均成功率

    RELACE是一个无需评论家的框架,用冻结行为策略对已执行动作在原始情境与结果增强情境下做教师强制似然打分,将两者长度归一化得分之比在轨迹内归一化并裁剪后重加权折扣回报,再在状态匹配组内构造局部优势,与GRPO轨迹级优势结合;在ALFWorld与WebShop上使用Qwen2.5-1.5B-Instruct与Qwen2.5-7B-Instruct,其报告的平均聚合指标高于GRPO、GiGPO、HCAPO与GraphGPO等基线。

  10. arXiv

    UniSkill 用对比动作反馈训练技能提议器,在 ALFWorld 达 98.4% 成功率并保持稳定联合训练

    UniSkill 让共享策略同时充当执行动作的 actor 与提出技能库编辑(Add、Update、No Edit)的提议器,用对比动作反馈衡量替换检索技能后当前 actor 在成功与失败轨迹上的动作对数似然差变化,从而无需为每个提议额外 rollout 即可训练提议器,并配合技能编辑支持正则化保持探索;在 ALFWorld 达 98.4% 成功率、WebShop 达 84.7% 成功率,且 250 步联合训练保持稳定。