十个前沿模型各自训练语言模型：六天造出可用助手，最强一个追平英伟达官方后训练版
核心概要
RSI Arena 把语言模型的后训练交给十个前沿模型自主完成：每个智能体从同一个 300 亿参数基座出发，在六天、1000 GPU 小时预算内自选数据、自写训练代码并提名检查点。十个智能体都产出了可用助手，其中 GPT-6 Astra 训练的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%；在控制回答长度与格式后，其人类偏好评分与 NVIDIA Instruct 持平（1095 对 1094）。第二阶段把各自模型的盲测对战记录交回智能体，十个模型中有八个相对 NVIDIA Instruct 的风格校正评分改善，但基准提升有限，且与偏好提升没有明显关联。
深度剖析
十个前沿模型被放到同一个共享集群上，各自独立完成一次完整的语言模型后训练，从选数据、写训练代码到挑检查点都不经人手。 此前的智能体后训练任务通常只针对一个事先告知的基准、耗时数小时、用一两块 GPU，且由自动评测打分；这次要求做出供人使用的通用助手，并由人来评判。 十个智能体全部产出了可用助手，最强的是 GPT-6 Astra 训练的模型，在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%，其后是 MiniMax 训练的 57% 和 GLM 训练的 52%，最低的 Step 训练模型为 32%。
在盲测人类竞技场里，最好的智能体模型与 NVIDIA 官方后训练版本打成平手，但这一结论依赖对回答长度和格式的校正。 不做风格校正时 NVIDIA Instruct 以 1182 领先 Astra 训练模型的 1161；把回答长度、列表项、标题和加粗计入回归后，两者分别为 1094 和 1095。 竞技场在 COLM 2026 现场和线上运行四天，1685 场普通对战中 1291 票通过投票检查，其中 1003 票为决定性投票；风格校正后十个智能体模型的评分跨度从 365 分收窄到 208 分。
第二阶段把每个模型自己的对战记录和投票交还给对应智能体，让它用三天继续改进，检验智能体能否从用户反馈中学习。 每个智能体拿到 213 到 276 场涉及自己模型的对战，包含问题、双方回答和投票结果，但不附带任何关于这些数据说明了什么的解释。 十个模型中有八个缩小了与 NVIDIA Instruct 的风格校正差距，全体中位改善 28 分；DeepSeek V4.1 Flash 训练的模型改善最大，从 −207 分升到 −35 分，其回答中位长度从 61 个 token 增至 508 个 token。
基准分数与人类偏好只部分同步，安全表现也不随偏好提升而一致改善。 第一阶段基准进展与未校正人类评分的相关系数为 0.72，第二阶段降到 0.41；两个阶段之间基准进展的变化与人类评分差距的变化没有关联。 第二阶段十个智能体中六个提高了基准中位进展，全体中位变化仅为差距的 +2 分；MiniMax 训练的模型人类评分提高 68 分，基准却下降 18 分，其 StrongREJECT 有害帮助分从 2.6 升到 24.5。
启示与展望
实验覆盖一个基座模型 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base、每个智能体一次运行，第一阶段六天、第二阶段三天，全部在同一个 64 GPU 的 Slurm 集群上完成；智能体训练的是另一个较小的模型，驱动它们做研究的模型本身没有被改动。
重复运行、更换基座模型、以及让改进后的模型继续承担后续研究，都还需要检验；每个阶段收集到约 1300 张有效投票，但可靠改进究竟需要多少、何种反馈仍是开放问题；智能体写下的模型卡中出现了训练计数和硬件描述与实际记录不符的情况。