所有采样都失败时不再零信号：PICO用教师约束联合解码，把全错组救回可训练轨迹
核心概要
可验证奖励强化学习在超出模型能力的难题上会遇到学习悬崖：一组采样全部答错时，组内相对优势估计塌缩为零，更新拿不到信号。PICO只在全错组触发分布约束的联合解码，让掌握专家解的教师与学生逐词取候选交集，并用动态截断把采样分布限制在有限散度预算内，生成既通过验证又贴近当前策略的轨迹。在Qwen3-4B-Base与Qwen3-8B-Base上，PICO在AIME25、AIME26、HMMT26、MATH500、GPQA-Diamond与HLE六项评测的平均分分别为32.0和35.4，高于GRPO的27.9和31.8。
深度剖析
难题上全部采样失败时，训练不再只能得到零优势的空更新，而是能从未解问题中取回通过验证的正奖励轨迹。 按组内相对优势计算的GRPO一类方法，在全错组里把优势压到零，这些题不提供任何学习信号；直接拿专家轨迹做监督微调或混入采样组，又会因轨迹落在学生低概率区而带来策略漂移或分布失配。 在数学推理训练中，联合解码在最多80%的全错组里恢复了通过验证的正奖励轨迹；训练曲线上PICO的奖励更高、全错题数更少，且基线在初期之后趋于平台而PICO继续上升。
做法是在词元层面把教师的候选与学生自己的候选取交集，再按学生自己的相对概率采样。 教师看到专家解，学生看不到；专家信息只通过教师对下一个词的预测进入生成，不写进学生的上下文。 学生截断固定为50，教师截断上限为20，取使交集保留至少0.8学生概率质量的最小教师截断，找不到可行截断就退回学生策略；训练中保留的学生概率质量始终较高，词元级KL散度随之下降。
被救回的轨迹与在策略采样一起，用混合行为目标优化，并用重要性采样比修正行为策略差异。 联合解码产生的轨迹来自与学生不同的行为策略，直接当作在策略样本会引入偏差。 消融中，去掉联合解码平均分从37.2降到33.8，去掉离策略重要性采样比降到35.3，动态截断的37.2高于各固定截断设置。
启示与展望
演示范围是Qwen3-4B-Base、Qwen3-8B-Base与Qwen3-4B-Instruct三类学生策略，教师统一为在专家解条件下工作的Qwen3-4B-Instruct；数学与通用推理在DAPO-Math-17K上训练，智能体任务在ALFWorld与ScienceWorld上分别训练，评测时学生独立作答、不使用教师或联合解码。
联合解码带来明确的墙钟开销，每步训练时间从28.3分钟增至43.6分钟，单位时间利用率与GRPO相当；重要性采样比只在采样动作上逐词精确，硬支撑截断会丢掉支撑外词元的贡献，因此混合行为目标是代理目标而非原在策略目标的无偏估计。