跳到主要内容
检索

# SWE-bench Verified

12 篇关联报道

订阅更新
  1. LMSYS Org

    RadixArk 把 Miles 智能体强化学习的沙箱搬上 NVIDIA Vera:满载下每轮快 12%

    RadixArk 与 NVIDIA 合作,把开源强化学习后训练框架 Miles 的全部沙箱放到 NVIDIA Vera CPU 上运行,并称这是首个端到端智能体强化学习训练中沙箱全部跑在 Vera 服务器上的公开结果。在保持机器满载的对照训练中,同一模型、任务、GPU 与设置下,沙箱放在 Turin 上时每轮平均多花 12%,而模型思考时间两边相同,差异几乎都来自沙箱内的工作。Vera 单沙箱运行时与当代 x86 相当或更好,负载越重优势越大。

  2. arXiv

    记忆送进上下文不等于被用上:MemUse 逐条追踪投递,发现多数条目无关、多数相关条目未被采纳

    MemUse 把评估单位从整条任务结果换成单次记忆投递:在 8,000 条 SWE-bench Verified 智能体轨迹上,三种记忆系统的解决率与无记忆基线相差不超过 0.4 个百分点,但逐条判定显示多数投递条目与任务无关,各系统中 51.3%–79.7% 的相关条目未被智能体采纳,且 23.2% 有有益记忆使用的回合仍然失败。

  3. LMSYS Org

    软件工程智能体训练不再等最慢一条:异步强化学习把通过率从7.3%提到27.5%

    在AMD Instinct MI355X上,Qwen3-30B-A3B-Instruct经监督微调后再做全异步智能体强化学习,在SWE-bench Verified的100个分层任务子集上把pass@1从7.3%提升到27.5%,且强化学习任务来自未出现在该基准中的代码库。训练的主要瓶颈不是GPU算力,而是长尾轨迹与CPU沙箱调度:限制轨迹长度让单步时间从850秒降到284秒,改用云沙箱并把并发提到384条后,吞吐从约860条/小时升到约3480条/小时。

  4. arXiv

    软件工程智能体的奖励不再只有通过或失败:让策略自己比较同一结果下的调试轨迹

    软件工程智能体的强化学习奖励不再只分通过和失败:让当前策略自己比较同一任务、同一验证结果下的调试轨迹,把偏好变成有界辅助奖励,在SWE-bench Verified上把Qwen3-14B的平均准确率从32.1%提到34.7%。

  5. arXiv

    执行代理不再自己判断何时求助:ARIA学会在轨迹中挑点咨询,SWE-bench上以不到一半成本补回68%差距

    ARIA把“何时向更强模型求助”变成一个可学习的顺序决策:在SWE-bench Verified、Terminal-Bench 2.1和电信客服基准上,它以不到Advisor-only一半的成本补回执行器与顾问之间44%到81%的成功率差距。

  6. arXiv

    通过测试的智能体轨迹并非等价:结构打分筛出前1024条,SWE-Bench Verified通过率27.6%

    编码智能体的监督微调不再只看最终补丁是否通过测试:按轨迹结构打分挑出的前1024条轨迹,让同一模型在SWE-Bench Verified上的pass@1从随机子集的24.8%升到27.6%。

  7. arXiv

    补丁被拒不再白费:失败反馈喂进训练,SWE-bench 首解从38.9%升到41.7%

    仓库级软件工程智能体此前只把每次尝试的通过或失败当作终局奖励,失败补丁和验证器反馈被丢弃。FC-SWE 在补丁验证失败后把仓库恢复到原始任务状态,用失败补丁与验证器诊断信息作为上下文再生成一条恢复轨迹,并让每条轨迹保留自己的验证结果、只把同一问题实际执行过的初始与恢复轨迹放进同一个比较组。在全部500个 SWE-bench Verified 任务上,同一 Qwen3.5-4B 策略下首解率从 GRPO 的38.9%升到41.7%,两次尝试累计从48.5%升到52.8%;训练时每条链最多两次尝试,测试时给到十一次尝试可累计解出70.7%。

  8. Microsoft Research

    微软亚洲研究院开源 Agent Lightning v1.0:约 3,500 行代码实现 Harnessed Agentic RL,Qwen3.5-9B 在 SWE-bench Verified 上从 41.8% 提升至 56.4%

    微软亚洲研究院提出 Harnessed Agentic RL 训练范式并开源重建 Agent Lightning v1.0,让部署所用的同一 agent harness 通过 LLM 代理直接参与强化学习,框架约 3,500 行代码、以标准 Kubernetes 作业运行 agent,并在 SWE-smith、mini-SWE-agent 与 Qwen3.5-9B 的端到端编码 agent 流水线上,仅用约 6,000 条训练样本把 SWE-bench Verified 的 Pass@1 从 41.8% 提升到 56.4%,绝对增益 14.6 个百分点。

  9. arXiv

    DeReAct 将动作校验与完成认证外置,使 Qwen3-Coder-480B 在 GAIA 与 SWE-bench Verified 上 Pass@1 提升 6.5–7.0 分

    DeReAct 提出一种模块化智能体架构,把动作授权与完成判定从单一 LLM 策略中分离出来,交由 Critic 在执行前校验提议动作、由 Context Manager 重建环境支持的 State 并认证任务完成;在 GAIA 与 SWE-bench Verified 上,它对较弱 Brain 模型提升最大(Qwen3-Coder-480B 提升 6.5–7.0 分,Claude Sonnet 4.5 提升 4.2–5.2 分),随 Brain 能力增强增益递减,而在 Claude Opus 4.5 上 Pass@1 与 ReAct 相当但轨迹更具证据完整性与约束满足性。

  10. NVIDIA Technical Blog

    NVIDIA 提出以工具调用为骨架的智能体评测框架,并用 SWE-bench 轨迹展示端到端与步骤级评分如何分工

    这篇 NVIDIA 文章梳理了智能体评测从单次函数调用评分转向整任务完成度评分的过程,提出以执行环境、步骤级(过程)与端到端(结果)两层评分、以及 Benchmark→Trial→Task→Turn→Step 的固定层级为核心的评测框架,并用 SWE-bench Verified 上 pytest-dev__pytest-5262 的真实轨迹(端到端 1、步骤级 3/4、工具调用精确率 3/4、参数准确率 4/4)说明各指标如何解读,同时给出以公开基准设下限、用自有工单与 API 建领域评测的落地流程。