Irene Aldridge

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。

评估一个策略时，监管者往往只看到输入和输出，难以区分收益来自按状态调整动作，还是来自平均意义上的固定行为。这项工作证明，在有限期马尔可夫决策过程中，策略相对其开环边际的期望代价差恰好等于状态与动作的协方差，并给出用互信息刻画的自适应收益上界。审计该量在赌博机反馈下需要与平均KL散度成反比的样本量，而确定性非常数策略从自身日志中不可识别。