可验证奖励强化学习首次拿到提示级差分隐私保证：奖励信号在噪声下仍能提分
核心概要
可验证奖励强化学习（RLVR）用带标准答案的题目训练语言模型，但训练题本身可能涉密，模型权重会泄露它见过哪些题。DP-GRPO 把同一道题的全部回答合成一个梯度、只裁剪一次并加高斯噪声，使发布权重的隐私预算与每题回答数和裁剪范数无关，作者称这是 RLVR 训练的首个差分隐私保证。在 Qwen2.5-1.5B-Instruct 上以 LoRA 训练、每次运行预算为 8 时，奖励信号相对去掉奖励的对照在 MATH 上提高 2.65 个百分点、GSM8K 上提高 3.24 个百分点，且每个随机种子都为正。
深度剖析
在提示级差分隐私下，验证器给出的奖励仍然是一个可用的学习信号：同一套私有训练流程里，保留组内相对优势的 DP-GRPO 比把优势全部置零的对照更准。 此前没有针对 RLVR 或 GRPO 训练的差分隐私保证，因此也没有在隐私约束下测过奖励信号本身值多少；对照臂保留生成、验证、KL 项、裁剪、噪声和优化器更新，只去掉奖励偏好。 在相同题目和相同每次运行预算下，DP-GRPO 相对零优势对照在 MATH 上高 2.65 个百分点、在 GSM8K 上高 3.24 个百分点，四个种子逐一为正；对照本身停留在基座附近，与基座相差不超过 0.4 个百分点。
在同等隐私预算下，用奖励优化比用私有监督微调更划算，至少在两个数学推理基准上是这样。 两种私有模仿路线分别以验证器筛过的自采样回答和数据集参考答案为目标，走同样的采样、裁剪、加噪与记账流程。 DP-GRPO 在 MATH 和 GSM8K 上比验证器过滤的 DP-SFT 与金标 DP-SFT 高 2.32 到 3.79 个百分点，八个种子配对对比经 Holm 校正后全部显著；两个监督臂相对基座的变化都落在各自的最小可检测效应之内。
在这组数学任务上，隐私的代价不大，而且预算还能再收紧而不出现可测的精度损失。 与非私有 GRPO 各自的基座增益相比，私有训练保留了大部分收益；此前的私有后训练评测没有把奖励信号单独隔离出来。 DP-GRPO 保留 MATH 上非私有增益的 85%、GSM8K 上的 90%；在 MATH 上把预算收紧八倍（噪声乘子由 0.484 升到 1.002）只带来至多 1.2 个百分点的代价，裁剪范数减半或加倍的变化都小于最小可检测效应。
启示与展望
结论来自 Qwen2.5-1.5B-Instruct 配 rank-4 LoRA 的单一模型，主要证据是两个由验证器核对最终答案的数学推理基准，CommonsenseQA 只用于检验奖励效应能否延伸到数学之外。预算、裁剪范数与 rollout 分配的扫描只在 MATH 上做，迁移只通过把 GSM8K 检查点直接在 SVAMP 上打分检查了一次。
保证的单位是一道题而不是一个人：若同一人贡献多道题，其保护只能经群组隐私推导并随题数增加而变弱。定理覆盖的是所分析的机制在四条假设下的行为，批量推理内核与验证器的实际耗时限制可能让一道题的 rollout 与其他记录耦合，浮点噪声生成也偏离实数模型，这两项都未量化。隐私界是证明与记账给出的上界而非实测值，一次带金丝雀的审计没有给出正的下界。在 CommonsenseQA 上 DP-GRPO 只保留非私有增益的 45%，且该非私有参照沿用私有超参数而非调优后的上限。