通过测试的智能体轨迹并非等价:结构打分筛出前1024条,SWE-Bench Verified通过率27.6%
编码智能体的监督微调不再只看最终补丁是否通过测试:按轨迹结构打分挑出的前1024条轨迹,让同一模型在SWE-Bench Verified上的pass@1从随机子集的24.8%升到27.6%。
编码智能体的监督微调不再只看最终补丁是否通过测试:按轨迹结构打分挑出的前1024条轨迹,让同一模型在SWE-Bench Verified上的pass@1从随机子集的24.8%升到27.6%。
该工作将AI智能体性能形式化为“意图—执行”缺口(模型意图与框架执行之间的不匹配),提出可定制的Simple Strands Agent(SSA)框架以对齐不同模型家族,在SWE-Pro、SWE-Verified、Terminal-Bench-2和Deep-SWE上复现或提升各模型提供方报告的pass@1,并基于SSA生成的15.4万条轨迹,用代码状态空间表示计算解距离与回溯,结合编辑频率、测试活动和阶段转换等细粒度指标,揭示前沿模型在pass@1相近情况下解题行为与努力分配的差异。
已读完全部报道