# 大语言模型后训练

RSI Arena 把语言模型的后训练交给十个前沿模型自主完成：每个智能体从同一个 300 亿参数基座出发，在六天、1000 GPU 小时预算内自选数据、自写训练代码并提名检查点。十个智能体都产出了可用助手，其中 GPT-6 Astra 训练的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%；在控制回答长度与格式后，其人类偏好评分与 NVIDIA Instruct 持平（1095 对 1094）。第二阶段把各自模型的盲测对战记录交回智能体，十个模型中有八个相对 NVIDIA Instruct 的风格校正评分改善，但基准提升有限，且与偏好提升没有明显关联。

RSI Arena 把语言模型的后训练交给十个前沿模型自主完成：每个智能体从同一个 300 亿参数基座出发，在六天、1000 GPU 小时预算内自选数据、自写训练代码并提名检查点。十个智能体都产出了可用助手，其中 GPT-6 Astra 训练的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%；在控制回答长度与格式后，其人类偏好评分与 NVIDIA Instruct 持平（1095 对 1094）。第二阶段把各自模型的盲测对战记录交回智能体，十个模型中有八个相对 NVIDIA Instruct 的风格校正评分改善，但基准提升有限，且与偏好提升没有明显关联。

RPTune 面向目录可整体放入长上下文窗口的中小商户，把「编码器—重排器」学习式目录整理与基于自动生成、目录锚定监督的 LLM 后训练耦合起来：在 7 家真实商户、每家 100 条复杂对话查询上，上下文整理使 9 个冻结 LLM 骨干的精确匹配平均提升 13.5 个百分点、最高 20 个百分点，gemini-3.7-flash 上整理带来 14.6 个百分点提升，gemma-4-E4B-it 上整理加后训练把 EM 从 10.7% 提升到 31.0%。

RPTune 面向目录可整体放入长上下文窗口的中小商户，把「编码器—重排器」学习式目录整理与基于自动生成、目录锚定监督的 LLM 后训练耦合起来：在 7 家真实商户、每家 100 条复杂对话查询上，上下文整理使 9 个冻结 LLM 骨干的精确匹配平均提升 13.5 个百分点、最高 20 个百分点，gemini-3.7-flash 上整理带来 14.6 个百分点提升，gemma-4-E4B-it 上整理加后训练把 EM 从 10.7% 提升到 31.0%。

ROSS 提出一种选择性监督的再学习流程：从原始 RL、多教师在线蒸馏（MOPD）或智能体 RL 训练中保存的历史自生成轨迹里，先用结果验证器筛出成功轨迹，再由 LLM 审阅者标出值得模仿的模型生成片段，保留完整轨迹作为上下文但只对被选中的 token 施加损失，从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点，在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。

ROSS 提出一种选择性监督的再学习流程：从原始 RL、多教师在线蒸馏（MOPD）或智能体 RL 训练中保存的历史自生成轨迹里，先用结果验证器筛出成功轨迹，再由 LLM 审阅者标出值得模仿的模型生成片段，保留完整轨迹作为上下文但只对被选中的 token 施加损失，从而在不产生新 rollout 的离线 SFT 阶段提升上游检查点，在 Qwen3.6-35B-A3B 上把 MOPD 六基准平均从 58.40% 提升到 62.20%、SWE-bench Verified 从 64.20% 提升到 68.40%。