训练日志里有、上线时拿不到：运行时混杂下的策略学习有了双重稳健估计与可检验的代价
核心概要
部署时拿不到某些关键变量、而训练日志里却完整记录，这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子，用全量数据估计干扰函数，给出渐近正态且达到半参数效率界的离策略估计，以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界，并提供一个检验该差距的样本分割方法。
深度剖析
部署阶段只能看到部分状态时，强化学习仍可在一个只依赖运行时可见变量的策略类里学习和评估，而不必把日志中缺失于部署的变量直接丢弃。 此前的强化学习工作处理的是日志与部署都缺少混杂变量的情形，用因果界、敏感性分析或部分可观测建模来应对不可识别性；单时点的运行时混杂已有反事实预测研究，但序贯决策下的运行时混杂此前没有被专门研究。 在序贯可忽略、一致性和重叠三项识别假设下，目标策略的价值可由观测数据识别，识别泛函保留历史中的运行时混杂变量，而不是像常见做法那样把它们删掉。
运行时限制只通过重要性比值的分子进入，因此可以用重加权在全量数据上恢复任意运行时策略的价值。 标准离策略评估的重要性权重分子对应全信息策略，这里分子换成运行时策略的动作密度，分母仍是记录数据时的全信息策略。 由此得到的估计量采用交叉拟合的干扰函数，在估计假设下渐近正态并达到半参数效率界，可给出有效的置信区间和检验。
学习到的运行时策略相对全信息最优策略的遗憾，被分解为一个不可约的运行时差距加上可收敛的估计误差。 全信息最优策略在部署时不可行，因此这一差距不是估计误差，而是 withholding 运行时混杂变量本身带来的价值损失。 在乘积速率、一致性和运行时策略类熵条件等正则条件下，遗憾界保持与非运行时情形相同的速率，并额外带一个不可约差距。
由于运行时混杂变量在日志中被记录，这个不可约差距可以被估计和检验，从而给出接受或放弃这些变量的决策相关量。 该差距是两个最大值之差，直接推断可能非正则，因此采用样本分割：一部分学全信息策略与运行时策略，另一部分估计差距。 在定理 2 的渐近正态性下，可构造该差距的渐近有效置信区间，并在两策略得分不相同时检验差距是否为零。
启示与展望
讨论范围限于日志数据完整可观测、部署时缺少部分变量且这些变量在日志中被记录的序贯决策设定，结论建立在序贯可忽略、一致性与重叠的识别假设以及若干估计假设之上；材料未给出数值实验或真实数据上的验证。
运行时差距的检验在两策略得分相等时会失效，因此需要额外的得分不等条件；在线设定与重叠衰减被明确留作未来工作，材料也未报告任何模拟或实证结果。