LSPD把在线策略蒸馏改写成KL正则RL：六个数学推理基准上Avg@16平均提升1.59分，回放变体只用约四分之一rollout批次即达饱和
该工作把在线策略蒸馏（OPD）的反向KL目标重新解释为KL正则化策略优化，提出最小二乘策略蒸馏（LSPD）：用稳健二次对数概率匹配加熵正则替代策略梯度更新，从而支持多次更新与历史轨迹复用，在六个数学推理基准和三种师生设定上平均提升Avg@16 +1.59分、Pass@16 +1.87分，其全离线回放变体LSPD-RB仅用约四分之一rollout批次即达到与原始OPD相当的性能。