# 训练-推理失配

该工作研究大语言模型可验证奖励强化学习（RLVR）中推理引擎采样、训练引擎计算梯度所导致的训练-推理不匹配，提出校准重要性采样（CIS）：先用对数几率上的加性位移刻画不匹配，再对正位移施加单一常数阈值截断，从而得到随 token 置信度升高而收紧的重要性比率上限；在三个 MoE 模型与五个数学推理基准上，CIS 在全部三个模型上取得所评估基线中最高的五基准平均分，诊断分析显示其对低置信度 token 的截断偏差小于截断重要性采样（TIS），而对小重要性权重的上向裁剪会降低留出准确率。

该工作研究大语言模型可验证奖励强化学习（RLVR）中推理引擎采样、训练引擎计算梯度所导致的训练-推理不匹配，提出校准重要性采样（CIS）：先用对数几率上的加性位移刻画不匹配，再对正位移施加单一常数阈值截断，从而得到随 token 置信度升高而收紧的重要性比率上限；在三个 MoE 模型与五个数学推理基准上，CIS 在全部三个模型上取得所评估基线中最高的五基准平均分，诊断分析显示其对低置信度 token 的截断偏差小于截断重要性采样（TIS），而对小重要性权重的上向裁剪会降低留出准确率。