KL正则强化学习的学习代价被定准：生成模型下样本量随有效时域线性增长，温度不再拖慢
核心概要
KL正则强化学习的目标——最大熵强化学习与大模型人类反馈微调背后的同一目标——此前只知道样本量随有效时域以更差的幂次增长，且没有任何下界依赖温度。这项工作在表格型折扣MDP与生成模型设定下证明：每个状态动作对采样若干次后，把经验模型当作真实模型求解的插件式估计器即可达到温度量级的KL次优性，样本量随有效时域线性增长；同时给出匹配的下界，说明任何算法（包括自适应选择采样位置）都无法更少。
深度剖析
在表格型折扣MDP、奖励已知、可从生成模型对任意状态动作对独立采样的设定下，学习KL正则化最优策略所需的样本量被定到对数因子以内，且样本量随有效时域线性增长，与无正则强化学习相同。 此前的保证来自镜像下降类方法，最好也只有随有效时域以更差幂次增长的样本量；插件式估计器经由上确界范数界继承的速率同样更松，而MDP上没有任何下界依赖温度，最优速率被列为公开问题。 上界与下界在同一温度区间内相互匹配：下界构造出两个只有五个状态动作对的MDP，任何每对采样固定次数的估计器必在其中一个上失败；对自适应采样，则用一族至多若干对的MDP给出同阶下界。
达到该速率的方法是插件式估计：对每个状态动作对采样相同次数，用经验转移核替换真实核，再在经验MDP上精确求出软最优策略。 证明的关键不是逐步最坏情况求和，而是沿学习器自身轨迹用鞅恒等式约束误差在动作间的方差，从而消去一个额外因子。 在小规模MDP上的模拟显示，风险随温度在快慢两个区间分别按不同幂次下降，重标定后不同温度的四条曲线落在同一条上。
除速率外，插件式估计器的渐近常数也被精确给出，等于估计的软Q函数渐近协方差的Fisher加权方差。 此前只有速率，没有常数；该常数在每对等量采样的方法中达到局部渐近极小极大。 在常数跨越四个数量级的七个实例上，包括小装置、随机Garnet MDP与100状态环，理论常数与实测风险在百分之几以内一致。
启示与展望
结论针对表格型折扣MDP，奖励已知，数据来自可对任意状态动作对独立采样的生成模型；这一设定隔离出学习转移核的代价，不包含探索与函数逼近。模拟只在小规模MDP上进行，包括双动作小装置、随机Garnet实例与100状态环。
下界在温度低于某一阈值时留有一个窗口未覆盖，该区间内上界由预热样本量决定。定理4的最优采样分配需要依赖未知实例的权重，实际使用前须先估计。定理1的常数并不紧，其对数因子还包含解耦论证带来的额外因子，因此多数模拟样本量低于它要求的预热门槛。