软件工程智能体的奖励不再只有通过或失败：让策略自己比较同一结果下的调试轨迹
核心概要
软件工程智能体的强化学习奖励不再只分通过和失败：让当前策略自己比较同一任务、同一验证结果下的调试轨迹，把偏好变成有界辅助奖励，在SWE-bench Verified上把Qwen3-14B的平均准确率从32.1%提到34.7%。
深度剖析
软件工程智能体的训练奖励从二值通过/失败，扩展为在同一验证结果内部还能区分调试质量。 此前可验证奖励只给出通过或失败，失败轨迹即使定位到相关代码、收集到有用证据，也与毫无进展的尝试同样得零分。 在SWE-bench Verified上，Qwen3-14B在400步训练预算下平均准确率由32.1%升至34.7%，SWE-bench-Live上同一设置由6.33%升至8.11%。
做法是让当前策略在训练后充当裁判，只比较同一任务、同一验证结果内部的轨迹。 此前额外的密集信号来自单独训练的奖励模型，这里改为复用策略本身，不需要另训一个轨迹打分模型。 裁判按可观察的调试行为打分，把成对偏好聚合成任务内分数，再归一化、加软死区、中心化并限幅，得到有界辅助奖励，且保证通过轨迹的奖励始终高于失败轨迹。
这种奖励细化只在失败桶上做时效果最好。 把成功轨迹也纳入比较会增加裁判工作量，却没有在平均准确率和Pass@3上超过只细化失败桶。 只细化失败桶达到33.2%平均准确率和46.6% Pass@3，同时细化两个桶为33.1%和44.6%，只细化成功桶为32.0%和44.0%。
启示与展望
这套方法在带可执行验证器的仓库级软件工程任务上验证，训练用R2E-Gym的过滤子集，评测覆盖SWE-bench Verified、SWE-bench-Live Lite和Terminal-Bench 2.1，模型为Qwen3-14B与Qwen3-32B。适合正在训练软件工程智能体、且已有可执行测试与同任务多次采样的研究者参考。
裁判与外部裁判Kimi K2.5的一致率大致在0.6到0.7之间，训练后期有所下降，但对应模型的下游表现仍在提升。训练墙钟时间比只用验证器奖励多约19.86%，且尚未做完全算力对齐的比较。