可验证奖励强化学习首次拿到提示级差分隐私保证：奖励信号在噪声下仍能提分
可验证奖励强化学习（RLVR）用带标准答案的题目训练语言模型，但训练题本身可能涉密，模型权重会泄露它见过哪些题。DP-GRPO 把同一道题的全部回答合成一个梯度、只裁剪一次并加高斯噪声，使发布权重的隐私预算与每题回答数和裁剪范数无关，作者称这是 RLVR 训练的首个差分隐私保证。在 Qwen2.5-1.5B-Instruct 上以 LoRA 训练、每次运行预算为 8 时，奖励信号相对去掉奖励的对照在 MATH 上提高 2.65 个百分点、GSM8K 上提高 3.24 个百分点，且每个随机种子都为正。