# RL-ARC（辅助推理置信度强化学习）

该工作提出 RL-ARC，一种校准感知的强化学习框架，在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度，把推理置信度作为辅助信号：预测正确时用它正则化答案置信度，预测错误时用它施加过度自信惩罚；在数学推理与分布外复杂推理、事实问答基准上，RL-ARC 的校准指标优于既有校准感知训练方法，同时准确率与仅优化正确性的 RLVR 相当。

该工作提出 RL-ARC，一种校准感知的强化学习框架，在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度，把推理置信度作为辅助信号：预测正确时用它正则化答案置信度，预测错误时用它施加过度自信惩罚；在数学推理与分布外复杂推理、事实问答基准上，RL-ARC 的校准指标优于既有校准感知训练方法，同时准确率与仅优化正确性的 RLVR 相当。