GRPO安全对齐在难题上信号归零：Beacon补回安全方向，四个模型平均安全错误最多降32.83个百分点
核心概要
大型推理模型的安全对齐常用GRPO，但同一提示下采样的回答往往安全与否一致，组内相对优势随之消失，模型在持续不安全的提示上得不到指向安全的方向。Beacon把安全信号恢复与安全—效用解耦对齐合在一起：前者筛选高对比轨迹并在信号塌缩时直接监督安全参考回答，后者按提示类别给奖励并只对良性提示做KL锚定。在四个Qwen3与DeepSeek-R1-Distill变体、八个基准上，平均安全错误较初始策略降低17.69至32.83个百分点，XSTest过度拒答率为0.40%至1.20%。
深度剖析
安全对齐训练中，GRPO的组内相对优势会在两类情形下失效：同一提示的采样回答全部安全或全部不安全时，组内奖励相同，相对优势为零，策略梯度不再携带安全方向；而在持续不安全的提示上，熵正则又把概率质量摊到更多不安全回答上，形成不安全行为的多样化。 此前把GRPO用于推理模型安全对齐的工作主要关注数据构造与奖励设计，较少讨论组相对优化本身在安全信号上的表现。 在Qwen3与DeepSeek-R1模型上用有害提示和二元安全奖励运行原始GRPO，观察到大量提示出现全不安全组、相对优势为零，同时不安全回答比例居高不下而语义多样性上升。
Beacon由安全信号恢复与安全—效用解耦对齐两部分组成，前者保证有害提示上始终有指向安全的学习信号，后者避免安全优化蔓延到良性请求造成过度拒答。 安全信号恢复包含优势引导的轨迹筛选与安全参考监督：前者按组内优势差排序，只保留对比最强的一部分轨迹对参与策略更新；后者在组内信号塌缩时，直接最大化给定安全参考回答（含推理轨迹、最终答案与结束符）的自回归似然。 在Qwen3-8B上逐步加入各组件，加入安全参考监督后有害提示的安全回答比例从24.34%升到49.74%，平均安全错误从5.16%降到2.36%；再加入类别感知奖励与仅良性提示的KL锚定，XSTest过度拒答率从14.40%降到1.20%，推理准确率从78.89%升到80.64%。
在四个模型变体上，Beacon取得最低的平均安全错误与最高的平均推理准确率，同时把过度拒答压在很低水平。 与初始策略相比，平均安全错误降低17.69至32.83个百分点，推理准确率提高0.26至4.56个百分点。 在DeepSeek-R1-Distill-8B上，GRPO的安全错误为16.12%、推理准确率63.33%、过度拒答率25.60%，Beacon对应为6.27%、67.94%和0.40%；在Qwen3-8B上与DPO、GRPO、SFT+GRPO、GDPO、NGRPO、MDP-GRPO比较，Beacon平均安全错误1.88%、平均推理准确率80.64%。
启示与展望
演示范围是四个Qwen3与DeepSeek-R1-Distill变体、八个基准上的安全与推理评测，安全错误由Llama-Guard-3对单次生成判定，过度拒答在XSTest安全子集上用WildGuard测量；训练数据取自ThinkSafe，其安全参考回答同时作为安全参考监督的目标。
方法依赖现有奖励模型与安全评测器提供安全、效用与诚实信号，效果可能受这些信号质量与可靠性的影响；工作集中在有害与良性提示两类设定下的安全对齐，事实性、不确定性校准与长程交互等更广的对齐目标尚未覆盖。