多数投票测试时强化学习锁定哪个答案，训练前用核探针就能算出概率，无需拟合常数
核心概要
多数投票测试时强化学习会让每道题在训练中锁定到一个答案，难题上常锁到错误答案，而此前只能训练结束后才知道锁到哪一个。该工作把这一过程看成开局接近的两个答案之间由采样噪声驱动的短程竞赛，并给出网络核如何通过尾部答案的更新改变领先两者差距的闭式概率。在MMLU-Pro多选题上对两个模型家族的三个模型做LoRA训练，训练前用冻结核链算出的预测比用结果重新拟合的逻辑模型更准地判断每题锁定哪个答案，且不使用拟合常数。
深度剖析
多数投票测试时强化学习对每道题的锁定结果可以在训练开始前给出概率，而不必等训练结束再观察。 此前的分析要么在训练中从翻转率检测锁定，要么把带噪奖励的GRPO描述成确定性流，都没有给出每个答案赢下一道题的概率。 在MMLU-Pro多选题上对Qwen2.5-1.5B、Llama-3.2-1B和Qwen2.5-7B做LoRA训练，训练前固定的冻结核链预测在五个未见设置、第二个模型家族、更大规模、AdamW和标准差基线下的Brier分数都优于交叉拟合的逻辑回归，且不使用任何拟合到结果的常数。
网络里答案的logit共享参数，尾部答案的更新会通过参数核改变两个领先答案之间的差距，这一溢出把两个领先者各自获胜的起点分界推移。 只用一个标量概括核的标量律忽略了这一推移，因此需要把步长放大约4到150倍才能拟合结果。 闭式解只沿一条确定性路径累积溢出，在训练前检查确认两个领先者始终高于其他答案的运行上，它与冻结核链的预测一致，Brier分数只高出约0.002，区间包含零。
共享参数的多道题可以一起更新，各题的锁定在极限下相互独立，但每题的偏移要加上其他题沿其绑定路径带来的平均更新。 孤立地看单题会漏掉这种跨题推动，耦合链对每个成员的胜者预测优于孤立链。 在16到64道题共享参数的集合中，领先者在成员中的获胜比例接近预测值，字母频率偏移与预测的相关为0.87，闭式解在规模16和64时分别补上孤立律与耦合链之间Brier差距的100%和89%。
启示与展望
结论针对固定十个字母的单token答案、LoRA适配器在竞赛结束前接近线性化、且目标函数不含裁剪、KL项和探索项的训练设定；训练前可用核探针检查一道题是否落在两领先者定律的适用范围内。
概率的排序与区分能力较好，但校准依赖模型和设置，未见设置中Qwen-1.5B的校准斜率在0.76到1.06之间，因此不作校准声明；决策比冻结核预测更早，因为核在训练后期增长，而动量不在模型之内；共享参数时闭式解比耦合链更自信，因为不同题的差距相互耦合、胜者在实际步长下相关；三答案以上时误差阶数只在模拟中观察到。