智能体该不该被人工复核有了因果答案：同一轨迹内随机干预，复核效果随动作与状态大幅变化
核心概要
智能体评测长期依赖固定基准，只能说明任务成败，无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹，在每个可干预决策点以等概率随机分配复核或直接执行，再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上，复核效果随工具调用类型和智能体状态明显不同，同一数据还能给出按决策分组的风险排序。
深度剖析
智能体评测从只看任务成败，扩展到估计轨迹中途某一次复核对最终结果的因果影响。 基准固定任务、环境与评分标准，能刻画能力与安全，却无法说明在部署中于某一步介入是否会改变结局。 在τ-bench Retail 中，对 GPT-5 nano 的读调用与写调用复核估计均为正效应，工具层面订单取消与商品修改的置信区间高于零，而支付修改的区间包含零。
做法是在每条轨迹的每个合格决策点独立抛一次硬币，决定复核还是直接执行，然后让智能体继续与环境交互。 微随机试验原本用于移动健康等场景，在随时间变化的上下文里反复随机分配干预；这里把同样的设计搬到智能体的工具调用与代码提交上。 τ-bench Retail 使用 114 个原始任务及其 114 个变体，每个智能体重复十次随机化；ToolSandbox 每个智能体收集 3,096 条轨迹；ImpossibleBench 分析 1,218 个有效回合。
同一批随机轨迹还能评估“只在某类历史下复核”的选择性策略，并与从不复核比较。 此前轨迹级随机试验只在任务或整条轨迹层面分配处理，无法评估依赖历史的干预策略。 τ-bench Retail 的九个选择性复核策略，结构嵌套均值模型估计与每条策略 456 个回合的直接蒙特卡洛评估均为正，且九条策略的 95% 置信区间全部重叠。
启示与展望
实验覆盖 τ-bench Retail、ToolSandbox 与 ImpossibleBench 三个既有基准，智能体为 GPT-5 nano、Claude Haiku 5.5 与 Qwen3.5 Flash，复核者使用 GPT-6 Luna；结论限于这些设定下估计出的干预效应。
结构嵌套均值模型的估计依赖条件 blip 效应属于指定参数类的假设，模型设定不当时置信区间不再保证覆盖目标因果效应；报告的区间为逐点区间，未校正多重比较；作者也指出实验使用的是较小模型与可能已被前沿模型饱和的基准。