没有标准答案也能学会守住边界：奖励训练把自发正确拒答从25%拉到100%
核心概要
在证据是否足以支持因果主张这类没有可判定正确答案的判断任务上，一套先监督微调、再用大模型评审奖励做GRPO的边界保持配方，把行动压力下无评估提示时的自发正确拒答从基线的25%提高到100%（每臂40条，Wilson 95%置信区间下界91.2%，与基线区间[14.2%, 40.2%]不重叠），而打乱配对的安慰剂跌到5%。同一配方在281条结构良好的主张上自动误拒率为1.1%（Wilson上界3.09%），说明效果针对边界而非一律拒答；但监督微调已在该面上饱和，GRPO的增量无法单独识别，且评分来自模型会话而非人类专家。
深度剖析
在证据充分性判断这类没有形式化正确答案的领域，模型可以经训练在无人要求评估时主动拒绝执行建立在有缺陷证据上的分析。 此前的拒答训练依赖可判定的正确性信号，例如前提缺失或答案可验证；而判断证据是否支持因果主张没有这样的奖励。 在行动压力、无评估邀请的设置下，边界保持奖励臂的正确拒答率为100%，指令微调基线为25%，通用推理蒸馏模型为10%，打乱配对的安慰剂为5%（每臂40条模型会话评分）；奖励臂与基线的Wilson区间[91.2, 100]与[14.2, 40.2]不重叠。
这种拒答是边界特异的，而不是对一切输入都拒答。 安慰剂臂在结构良好的主张上大量误拒，说明打乱配对学到的是拒绝而非判断。 在281条结构良好的主张上，奖励臂的自动误拒率为1.1%（3/281，Wilson上界3.09%），基线为8.9%，推理蒸馏臂为28.5%（270条，排除11条评审错误行），安慰剂为91.1%；针对奖励臂18条样本的两次模型会话复核分别给出0/18和1/18的误拒。
训练买到的是最终动作层面的边界保持，而不是推理过程中的主动核查。 若奖励训练带来的是链式自我检查，过程核查指标应随之上升。 在更严格的过程判据（主动数值或计算核对）下，四个臂都接近零（干净集上25条逐项判定中无一为是，分布内推理臂出现1条为是）；同时奖励臂的声明不足与正确拒答之差为0.00。
监督微调单独已在该面上达到上限，因此GRPO的增量无法单独识别。 分解检查本应把联合效果拆成微调与强化学习两部分。 仅监督微调的检查点在两个面上都达到100%，在自发面上经盲评确认为40/40，与GRPO臂相同。
启示与展望
结论来自同一基座家族（Qwen2.5-14B）的受控研究，评分由两次掩蔽臂标签的模型会话完成，而非人类专家评审；作者明确不主张证明、跨家族泛化或独立人类专家验证。
作者报告监督微调已使自发面饱和，GRPO增量不可单独识别；32B与7B结果只是描述性迁移点，相邻差异区间包含零；未做卸载回弹与时间衰减测量；两次评分会话的模型家族与确切版本未记录；1.1%误拒率来自自动评分，18条定向复核是选择性样本，其余263条未重评。