智能体识别出任务做不了,却仍继续动手:把可行性判断写进运行框架,严格自省从两成升到六成
智能体常能看出任务缺少前提,却仍继续执行;一项新评测把“识别阻碍”和“据此停手”分开打分,并在不改模型权重的前提下用运行框架搜索把严格自省从两成提到六成。
智能体常能看出任务缺少前提,却仍继续执行;一项新评测把“识别阻碍”和“据此停手”分开打分,并在不改模型权重的前提下用运行框架搜索把严格自省从两成提到六成。
Meta公开了面向智能体编程与长程任务的Muse Spark Open模型权重,并已在Modal的共享端点上按token计费提供。该模型原生支持多模态理解,上下文窗口为100万token,可完成写代码、调试、多步规划、顺序调用工具以及长流程中的失败恢复。在Meta的评测中,它使用Terminus 2智能体在Terminal-Bench 2.1上得76.4分,使用Meta偏好的评测框架在DeepSWE 1.1上得60分,推理强度设为xhigh。
ARIA把“何时向更强模型求助”变成一个可学习的顺序决策:在SWE-bench Verified、Terminal-Bench 2.1和电信客服基准上,它以不到Advisor-only一半的成本补回执行器与顾问之间44%到81%的成功率差距。
智能体评测的难度来源从换题转向改环境。递归环境缩放(RES)在不改变任务目标与完成条件的前提下,改写信息获取路径、资源关系与执行依赖,并用可执行校验逐轮接受改动、让子代继承。在三个基准的294个初始任务上,六个评测模型的任务成功率全部下降,Claw-Eval-Live上降幅为57.14至77.14个百分点;用等量轨迹和相同优化设置微调时,RES轨迹在全部九组模型—基准对比中优于原始轨迹监督微调7.00至14.61个百分点。
MILO(Meta-evolutionary Island Orchestration)把智能体 harness 与其搜索策略共同进化:用岛屿式层级谱系记忆把被拒绝的变异当作负证据,用每个岛屿的 mutator 智能体重写完整 harness,再由 orchestrator 智能体通过谱系嫁接、物种分化、mutator 重分配与课程修订自适应调整搜索;在 Terminal-Bench 2.1、PaperBench、DeepSWE 上,用 Opus 4.8 相对初始 harness 分别提升 12.0%、28.3%、10.3%(此前最佳搜索增益为 4.5%、18.3%、0%),Terminal-Bench 2.1 达到 86.1±2.0%(
该工作提出 Mid-Harness,在动作生成器与执行框架之间对候选动作进行采样与验证后再执行其中一个,在保持生成器和框架不变的前提下研究动作级测试时计算扩展:在 TerminalBench-Lite 上,用 GPT-5.6 Sol 作为验证器把 TMAX-9B 的 Pass@1 从 50.00% 提升到 68.03%(8 个候选动作),而弱验证下增加采样宽度收益很小,成对验证在自验证设置中表现最好,把强验证器的响应蒸馏进 TMAX-9B 可进一步提升 Pass@1,且动作级扩展与轨迹级扩展(Best-of-N 与 Sequential Refine)组合后能以更低的估计 token 成本取得更高成功率。
已读完全部报道