智能体该不该被人工复核有了因果答案:同一轨迹内随机干预,复核效果随动作与状态大幅变化
智能体评测长期依赖固定基准,只能说明任务成败,无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹,在每个可干预决策点以等概率随机分配复核或直接执行,再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上,复核效果随工具调用类型和智能体状态明显不同,同一数据还能给出按决策分组的风险排序。
智能体评测长期依赖固定基准,只能说明任务成败,无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹,在每个可干预决策点以等概率随机分配复核或直接执行,再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上,复核效果随工具调用类型和智能体状态明显不同,同一数据还能给出按决策分组的风险排序。
多模态病历常被压成低维表示再用于因果调整,但变分自编码器只被训练来重建数据。一项模拟研究显示,当表示丢掉一个同时影响治疗与中介的稀有编码时,干预性间接效应在样本量3000、中等混杂强度下的95%区间覆盖率只有2%,而重建损失看不出问题;一个比较干扰函数预测损失的诊断在全部重复中标记出该缺陷。
已读完全部报道