智能体强化学习后置信度会失准：StaR-TTA用轨迹稳定性重排，四个问答集平均AUROC达0.7208
核心概要
智能体强化学习会改变大模型的推理轨迹，使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号：先在带标签的基座轨迹上学习稳定性与正确性的关系，测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上，它的平均AUROC为0.7208，并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。
深度剖析
在智能体强化学习之后，依赖推理轨迹的置信度估计器会明显失去排序能力，而轨迹本身的变化是主要原因之一。 在NQ上，MICE-LR的AUROC从基座模型的0.741降到强化学习模型的0.567，MICE-RF从0.773降到0.559，CCPS从0.745降到0.491；较少直接依赖轨迹表示的DACA几乎不变，从0.659到0.656。 在固定工具结果与最终答案、只把强化学习轨迹替换为基座模型对应轨迹后，MICE-LR、MICE-RF和CCPS分别恢复了剩余AUROC损失的44.5%、51.9%和11.1%。
轨迹稳定性在强化学习前后都保留了对答案正确性的预测力，因此可以作为没有正确性标签时的可靠性排序依据。 每个轨迹固定最终答案生成之前的前缀，只重采样五个短答案，用答案支持度、分布集中度和最高两个答案的频率差刻画稳定性；这些信号在基座与强化学习模型上的AUROC都高于0.5，等权平均约在0.7到0.8。 StaR-TTA在带标签的基座轨迹上联合学习正确性监督与稳定性导出的可靠性监督，测试时只更新一个以轨迹表示为条件的线性校正器，两个语言模型、稳定性到可靠性映射器、置信度打分器和校准器都保持冻结。
在四个问答基准上，StaR-TTA在强化学习轨迹上的平均AUROC为0.7208，平均ECE为0.0688，平均Brier为0.1870，平均NLL为0.5729。 在MuSiQue上，HTC的AUROC为0.721，高于StaR-TTA的0.672；在TriviaQA、HotpotQA和PopQA上，StaR-TTA的AUROC分别为0.800、0.715和0.696。 在TriviaQA上训练、在2WikiMultiHopQA、Bamboogle和NQ上测试时，StaR-TTA在四个数据集上都取得最高AUROC与最低Brier和NLL；在Llama-3.2-3B-Instruct上AUROC比最强基线高5.6到7.8个百分点，在Qwen2.5-7B-Instruct上高1.1到10.2个百分点。
启示与展望
演示范围是Qwen2.5-3B配合Search-R1的智能体强化学习设置，在TriviaQA、HotpotQA、MuSiQue和PopQA上评估，并扩展到Llama-3.2-3B-Instruct、Qwen2.5-7B-Instruct以及PPO和GRPO两种算法；测试时适配只更新一个线性校正器，稳定性估计通过固定前缀后重采样五个短答案完成。
测试时适配样本很少时结果不稳定甚至下降，平均AUROC在2个样本时为0.6306、4个时为0.6680，到64个样本才回到0.7155，全部样本为0.7208；去掉测试时适配后平均AUROC为0.7035，说明适配主要改善排序，平均ECE反而从0.0654略升到0.0688。