训练日志里有、上线时拿不到:运行时混杂下的策略学习有了双重稳健估计与可检验的代价
部署时拿不到某些关键变量、而训练日志里却完整记录,这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子,用全量数据估计干扰函数,给出渐近正态且达到半参数效率界的离策略估计,以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界,并提供一个检验该差距的样本分割方法。
部署时拿不到某些关键变量、而训练日志里却完整记录,这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子,用全量数据估计干扰函数,给出渐近正态且达到半参数效率界的离策略估计,以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界,并提供一个检验该差距的样本分割方法。
已读完全部报道