Andrew Liu

KL正则强化学习的目标——最大熵强化学习与大模型人类反馈微调背后的同一目标——此前只知道样本量随有效时域以更差的幂次增长，且没有任何下界依赖温度。这项工作在表格型折扣MDP与生成模型设定下证明：每个状态动作对采样若干次后，把经验模型当作真实模型求解的插件式估计器即可达到温度量级的KL次优性，样本量随有效时域线性增长；同时给出匹配的下界，说明任何算法（包括自适应选择采样位置）都无法更少。

KL正则强化学习的目标——最大熵强化学习与大模型人类反馈微调背后的同一目标——此前只知道样本量随有效时域以更差的幂次增长，且没有任何下界依赖温度。这项工作在表格型折扣MDP与生成模型设定下证明：每个状态动作对采样若干次后，把经验模型当作真实模型求解的插件式估计器即可达到温度量级的KL次优性，样本量随有效时域线性增长；同时给出匹配的下界，说明任何算法（包括自适应选择采样位置）都无法更少。