离线RLVR不再逐token全监督：GIST按对错分层选数据，同池对比胜过七个选择器
核心概要
离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督，但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项，据此在回答层用采样温度配对正确与错误样本，在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中，它监督的token比训练全部候选少66.6%，严格准确率45.79、灵活准确率49.73，均高于七个选择基线。
深度剖析
离线RLVR的数据选择从单一层级改为回答与token两级联动：正确回答与错误回答承担不同的失配方向，因此需要不同的采样来源和不同的监督位置。 此前的拒绝采样只保留验证正确的回答，BOLT一类方法按奖励给回答加权，另有方法按熵或概率挑选token，这些做法各自只在一个层级上选择，没有把回答选择与依赖结果的token监督结合起来。 在Qwen3-0.6B/GSM8K上，所有方法从同一候选池、同一批合格提示和同一BOLT目标出发，GIST的严格准确率为45.79、灵活准确率为49.73，比七个基线在严格指标上高1.59至3.33个百分点，在灵活指标上高1.13至3.26个百分点。
选择规则只依赖数据构造阶段就能拿到的三个量：采样温度、验证器给出的对错结果，以及初始策略的token概率。 分析中的目标概率与软价值在构造数据时并不可得，因此方法不去估计它们，而是用可观测信号近似。 每个提示在温度1和温度0下各生成回答且不做top-p或top-k截断；正确回答取自on-policy池，错误回答取自近众数池，合格提示需至少各有4条正确与4条错误回答，随后各抽4条；token掩码以该回答的平均概率为阈值，用冻结的初始策略计算一次并在训练中固定。
启示与展望
演示范围是三个模型（Qwen3-0.6B、Qwen3.5-2B、Gemma-4-E2B-it）、两个离线目标（BOLT与SFT）和GSM8K、MATH-500、MBPP-full三个基准，选择在训练前一次性完成；作者提出这一视角有望推广到其他离线目标以及随策略变化重新选择数据的设定。
预算化选择的保证只针对固定策略下捕获的失配量，不涉及在所选数据上训练的结果；配额是实践选择而非由分析推出，代价是最难的提示被排除；掩码位置仍参与前向与反向计算，相对全候选训练的计算节省来自只保留约四分之一回答；MATH-500上的增益较小，Qwen3.5-2B在MBPP-full上比BOLT低0.60个百分点。