# 选择性监督

ROSS 提出一种选择性监督的再学习流程：从原始 RL、多教师在线蒸馏（MOPD）或智能体 RL 训练中保存的历史自生成轨迹里，先用结果验证器筛出成功轨迹，再由 LLM 审阅者标出值得模仿的模型生成片段，保留完整轨迹作为上下文但只对被选中的 token 施加损失，从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点，在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。

ROSS 提出一种选择性监督的再学习流程：从原始 RL、多教师在线蒸馏（MOPD）或智能体 RL 训练中保存的历史自生成轨迹里，先用结果验证器筛出成功轨迹，再由 LLM 审阅者标出值得模仿的模型生成片段，保留完整轨迹作为上下文但只对被选中的 token 施加损失，从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点，在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。

该工作通过固定上下文的 Pass@K 分析发现视觉 token 剪枝后的性能下降并非全是信息丢失，而是模型未能可靠利用残留证据（表征—利用差距），并提出 SCOPD 与 SCOPD+ 两种稀疏上下文在线自蒸馏方法，在 10% 视觉 token 保留率下把 13 个基准的归一化平均性能从 Vanilla 的 86.37% 提升到 90.49% 和 92.43%，且不改变架构、不增加推理开销、不需要真实答案。

该工作通过固定上下文的 Pass@K 分析发现视觉 token 剪枝后的性能下降并非全是信息丢失，而是模型未能可靠利用残留证据（表征—利用差距），并提出 SCOPD 与 SCOPD+ 两种稀疏上下文在线自蒸馏方法，在 10% 视觉 token 保留率下把 13 个基准的归一化平均性能从 Vanilla 的 86.37% 提升到 90.49% 和 92.43%，且不改变架构、不增加推理开销、不需要真实答案。