# 置信度校准

智能体强化学习会改变大模型的推理轨迹，使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号：先在带标签的基座轨迹上学习稳定性与正确性的关系，测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上，它的平均AUROC为0.7208，并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。

智能体强化学习会改变大模型的推理轨迹，使在基座模型上训练的轨迹型置信度估计器明显失准。StaR-TTA把轨迹稳定性当作无需正确性标签的可靠性信号：先在带标签的基座轨迹上学习稳定性与正确性的关系，测试时用无标签强化学习轨迹的稳定性排序校正置信度。在四个问答基准上，它的平均AUROC为0.7208，并在未见数据集、不同模型家族与规模、PPO和GRPO两种强化学习算法下保持改进。

该工作提出 RL-ARC，一种校准感知的强化学习框架，在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度，把推理置信度作为辅助信号：预测正确时用它正则化答案置信度，预测错误时用它施加过度自信惩罚；在数学推理与分布外复杂推理、事实问答基准上，RL-ARC 的校准指标优于既有校准感知训练方法，同时准确率与仅优化正确性的 RLVR 相当。

该工作提出 RL-ARC，一种校准感知的强化学习框架，在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度，把推理置信度作为辅助信号：预测正确时用它正则化答案置信度，预测错误时用它施加过度自信惩罚；在数学推理与分布外复杂推理、事实问答基准上，RL-ARC 的校准指标优于既有校准感知训练方法，同时准确率与仅优化正确性的 RLVR 相当。

该工作提出 ConRad，一个基于强化学习的框架，用 GRPO 算法和对数评分规则奖励微调医学大视觉语言模型，使其在生成放射报告的同时输出报告级或句子级的言语化置信度，在 MIMIC-CXR 上报告级 ECE 降至 0.106、句子级 ECE 降至 0.239，并在 IU-Xray 零样本迁移中把 ECE 从 0.310 改善到 0.034，同时报告生成质量（GREEN）保持稳定。

该工作提出 ConRad，一个基于强化学习的框架，用 GRPO 算法和对数评分规则奖励微调医学大视觉语言模型，使其在生成放射报告的同时输出报告级或句子级的言语化置信度，在 MIMIC-CXR 上报告级 ECE 降至 0.106、句子级 ECE 降至 0.239，并在 IU-Xray 零样本迁移中把 ECE 从 0.310 改善到 0.034，同时报告生成质量（GREEN）保持稳定。