GRPO安全对齐在难题上信号归零：Beacon补回安全方向，四个模型平均安全错误最多降32.83个百分点
大型推理模型的安全对齐常用GRPO，但同一提示下采样的回答往往安全与否一致，组内相对优势随之消失，模型在持续不安全的提示上得不到指向安全的方向。Beacon把安全信号恢复与安全—效用解耦对齐合在一起：前者筛选高对比轨迹并在信号塌缩时直接监督安全参考回答，后者按提示类别给奖励并只对良性提示做KL锚定。在四个Qwen3与DeepSeek-R1-Distill变体、八个基准上，平均安全错误较初始策略降低17.69至32.83个百分点，XSTest过度拒答率为0.40%至1.20%。