Jaeho Hwang

多数投票测试时强化学习会让每道题在训练中锁定到一个答案，难题上常锁到错误答案，而此前只能训练结束后才知道锁到哪一个。该工作把这一过程看成开局接近的两个答案之间由采样噪声驱动的短程竞赛，并给出网络核如何通过尾部答案的更新改变领先两者差距的闭式概率。在MMLU-Pro多选题上对两个模型家族的三个模型做LoRA训练，训练前用冻结核链算出的预测比用结果重新拟合的逻辑模型更准地判断每题锁定哪个答案，且不使用拟合常数。

多数投票测试时强化学习会让每道题在训练中锁定到一个答案，难题上常锁到错误答案，而此前只能训练结束后才知道锁到哪一个。该工作把这一过程看成开局接近的两个答案之间由采样噪声驱动的短程竞赛，并给出网络核如何通过尾部答案的更新改变领先两者差距的闭式概率。在MMLU-Pro多选题上对两个模型家族的三个模型做LoRA训练，训练前用冻结核链算出的预测比用结果重新拟合的逻辑模型更准地判断每题锁定哪个答案，且不使用拟合常数。