# 离线策略评估

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。

智能体评测长期依赖固定基准，只能说明任务成败，无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹，在每个可干预决策点以等概率随机分配复核或直接执行，再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上，复核效果随工具调用类型和智能体状态明显不同，同一数据还能给出按决策分组的风险排序。

智能体评测长期依赖固定基准，只能说明任务成败，无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹，在每个可干预决策点以等概率随机分配复核或直接执行，再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上，复核效果随工具调用类型和智能体状态明显不同，同一数据还能给出按决策分组的风险排序。

部署时拿不到某些关键变量、而训练日志里却完整记录，这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子，用全量数据估计干扰函数，给出渐近正态且达到半参数效率界的离策略估计，以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界，并提供一个检验该差距的样本分割方法。

部署时拿不到某些关键变量、而训练日志里却完整记录，这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子，用全量数据估计干扰函数，给出渐近正态且达到半参数效率界的离策略估计，以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界，并提供一个检验该差距的样本分割方法。