智能体识别出任务做不了,却仍继续动手:把可行性判断写进运行框架,严格自省从两成升到六成
核心概要
智能体常能看出任务缺少前提,却仍继续执行;一项新评测把“识别阻碍”和“据此停手”分开打分,并在不改模型权重的前提下用运行框架搜索把严格自省从两成提到六成。
深度剖析
评测把智能体的自省拆成三件事:判断任务是否可行、按判断行动、被质疑后是否维持或修正判断,并把“任务本身是否允许完成”与“智能体能否完成”分开。 此前的成功导向评测只看任务是否完成,无法区分“识别到阻碍却继续做”和“根本没识别到阻碍”。 在 Terminal-Bench 2.1 的协议基线上,智能体在受阻搜索任务中识别出真实阻碍的比例达到较高水平,但严格自省只拿到两成,两者之间的差距来自不得编造、必须由任务智能体自己写出放弃动作、以及理由正确这几道关卡。
运行框架层面的搜索能在不更新模型权重的情况下改善这一行为,把提示、处理器、控制流和停止行为当作可搜索的对象。 此前只能靠模型自身能力或人工改写提示,缺少把可行性判断直接写进行为目标的对照。 只奖励放弃的搜索把 Terminal-Bench 受阻搜索任务的严格自省从两成提到六成,零售环境从两成提到四成;同时奖励放弃与完成可行任务的双侧搜索在 Terminal-Bench 把严格自省提到六成、可行任务解决率从四成七提到六成,在零售把两者分别提到四成四和四成七。
识别与行动之间的差距可以被量化,并给出一个双向目标:既要在任务不可行时停手,也要在任务可行时继续完成。 只优化放弃会带来反向捷径,即对本来可行的任务也拒绝执行。 在零售的留出集上,只按放弃选择的框架严格自省停在两成五,与初始参照持平,而可行任务解决率从四成一降到三成四;双侧选择的框架在留出集上严格自省为三成四、可行解决率为四成七,32 个可行任务上没有误弃。
启示与展望
这套评测面向终端和交互两类受控智能体环境,用配对的可行任务与受阻任务同时衡量该停手时是否停手、不该停手时是否继续。它适合研究智能体可行性判断与行为一致性的读者,以及需要为智能体运行框架设定双向目标的工程团队。评测任务、验证流程和评分规则被设计为可复用到其他智能体设置。
最大的框架增益出现在用于选择框架的搜索任务上,留出集上的提升有限;零售留出集每个任务只有一条随机轨迹,多出的两次严格自省成功不足以确立稳定改进。Terminal-Bench 受阻留出任务没有完整的严格自省评测,因此搜索集增益是否迁移到新阻碍尚未确定。零售的语义评分由与任务智能体相同的模型担任评委,可能共享模型特有的错误;可行性概率来自独立的只读探针,未必反映智能体执行任务时的实际信念。稳定性测试只注入一次中性质疑,不能说明面对反复或对抗性质疑时的表现。
