Zhenzhen Ren

智能体强化学习会改变大模型的推理轨迹，使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号：先在带标签的基座轨迹上学习稳定性与正确性的关系，测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上，它的平均AUROC为0.7208，并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。

智能体强化学习会改变大模型的推理轨迹，使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号：先在带标签的基座轨迹上学习稳定性与正确性的关系，测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上，它的平均AUROC为0.7208，并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。