Brigham Young University

该工作把在线策略蒸馏（OPD）的反向KL目标重新解释为KL正则化策略优化，提出最小二乘策略蒸馏（LSPD）：用稳健二次对数概率匹配加熵正则替代策略梯度更新，从而支持多次更新与历史轨迹复用，在六个数学推理基准和三种师生设定上平均提升Avg@16 +1.59分、Pass@16 +1.87分，其全离线回放变体LSPD-RB仅用约四分之一rollout批次即达到与原始OPD相当的性能。

该工作把在线策略蒸馏（OPD）的反向KL目标重新解释为KL正则化策略优化，提出最小二乘策略蒸馏（LSPD）：用稳健二次对数概率匹配加熵正则替代策略梯度更新，从而支持多次更新与历史轨迹复用，在六个数学推理基准和三种师生设定上平均提升Avg@16 +1.59分、Pass@16 +1.87分，其全离线回放变体LSPD-RB仅用约四分之一rollout批次即达到与原始OPD相当的性能。

该工作研究大语言模型可验证奖励强化学习（RLVR）中推理引擎采样、训练引擎计算梯度所导致的训练-推理不匹配，提出校准重要性采样（CIS）：先用对数几率上的加性位移刻画不匹配，再对正位移施加单一常数阈值截断，从而得到随 token 置信度升高而收紧的重要性比率上限；在三个 MoE 模型与五个数学推理基准上，CIS 在全部三个模型上取得所评估基线中最高的五基准平均分，诊断分析显示其对低置信度 token 的截断偏差小于截断重要性采样（TIS），而对小重要性权重的上向裁剪会降低留出准确率。

该工作研究大语言模型可验证奖励强化学习（RLVR）中推理引擎采样、训练引擎计算梯度所导致的训练-推理不匹配，提出校准重要性采样（CIS）：先用对数几率上的加性位移刻画不匹配，再对正位移施加单一常数阈值截断，从而得到随 token 置信度升高而收紧的重要性比率上限；在三个 MoE 模型与五个数学推理基准上，CIS 在全部三个模型上取得所评估基线中最高的五基准平均分，诊断分析显示其对低置信度 token 的截断偏差小于截断重要性采样（TIS），而对小重要性权重的上向裁剪会降低留出准确率。