策略的价值有多少来自“看情况”：协方差恒等式把自适应收益拆出来，但确定性策略无法从自身日志审计
核心概要
评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。
深度剖析
一个马尔可夫策略相对其开环边际多创造或少创造的价值，可以精确写成一个协方差：状态与动作的联合分布偏离两者边缘乘积的程度。开环边际指每一步忽略状态、按该策略平均动作频率抽动作的策略，因此它不含任何状态信息。 此前在随机线性规划和投资组合策略中，只有在均值无偏条件下才观察到期望遗憾等于代价与决策的协方差；这里把该关系推广到任意有限期马尔可夫决策过程和任意马尔可夫策略。 恒等式在动作影响后续状态的内生动态下成立，做法是在策略自身的状态分布下取平均，并把动作与策略自己的动作价值函数配对；若改用即时代价做“短视审计”，存在两步、两状态、两动作的构造使符号反转，且误差无界。
自适应收益的大小受策略所用信息量约束：状态与动作之间的互信息越大，策略相对开环边际能改善的代价越多。 由此得到，马尔可夫决策过程的自适应差距不超过任一最优策略的协方差幅度，也给出每步互信息受限时的速率—价值权衡。 界的形式是协方差绝对值不超过动作跨度乘以互信息的平方根再乘常数，其中动作跨度是单个状态下不同动作代价的最大范围；该常数不可改进，构造是一组二元对称信道式的例子，比值随参数趋于该常数。
从策略自己的日志估计这一自适应收益，在赌博机反馈下可以做到，样本量由平均KL散度决定。 审计问题被化为对开环边际的离策略评估，因为开环边际在日志下可直接观测，统计困难全部落在离策略那一侧。 中位数-of-均值的逆概率加权审计器在给定轮数内达到给定精度和高概率；下界表明对每个取值都存在需要相应轮数的实例，二者在常数因子内匹配。若策略从不在正测度上下文上采取其边际会采取的动作，则该量不可识别，确定性非常数策略因此无法从自身日志审计。
启示与展望
结论针对有限期马尔可夫决策过程与马尔可夫策略，审计设定要求记录动作倾向的赌博机反馈或回合制日志，并已知开环边际；数值演示限于三个小例子，包括一个20步、容量12、订货0至6的缺货损失库存问题。
信息界是最坏情况界，在动作跨度较大时留有松弛；回合制情形的乘积型界除非每步散度很小，否则随步数指数增长，一般离策略评估下界不能直接套用；确定性非常数策略在自身日志下不可识别。