多数投票测试时强化学习锁定哪个答案，训练前用核探针就能算出概率，无需拟合常数
多数投票测试时强化学习会让每道题在训练中锁定到一个答案，难题上常锁到错误答案，而此前只能训练结束后才知道锁到哪一个。该工作把这一过程看成开局接近的两个答案之间由采样噪声驱动的短程竞赛，并给出网络核如何通过尾部答案的更新改变领先两者差距的闭式概率。在MMLU-Pro多选题上对两个模型家族的三个模型做LoRA训练，训练前用冻结核链算出的预测比用结果重新拟合的逻辑模型更准地判断每题锁定哪个答案，且不使用拟合常数。
冻结7B主干、只训10万偏置参数：无标签TTRL在MATH-500达76.67%，并迁移到4500道未参与优化的问题
该工作提出无标签的偏置-only测试时强化学习：冻结预训练主干，仅用多数投票伪标签作为奖励、只优化约10万个偏置参数（28层MLP的down_proj.bias），在MATH-500上Qwen2.5-7B达76.67%、Qwen2.5-Math-7B达79.50%，同一流程还改善视觉语言与音频推理，冻结后的偏置向量在4500道验证互斥MATH题上把Qwen2.5-7B从46.3%提升到70.9%、Qwen2.5-Math-7B从52.5%提升到75.4%，并从伪标签可靠性与可及梯度能量两方面解释受限子空间为何仍能有效适配。
已读完全部报道