# 数据选择

离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督，但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项，据此在回答层用采样温度配对正确与错误样本，在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中，它监督的token比训练全部候选少66.6%，严格准确率45.79、灵活准确率49.73，均高于七个选择基线。

离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督，但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项，据此在回答层用采样温度配对正确与错误样本，在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中，它监督的token比训练全部候选少66.6%，严格准确率45.79、灵活准确率49.73，均高于七个选择基线。

智能体用实验反馈迭代数据工程策略，在数学与代码数据筛选、数学奖励设计和数学课程学习四类任务上，选出的策略在固定训练条件下于AIME25 Pass@32最高比通用基线绝对提升13.34%。

智能体用实验反馈迭代数据工程策略，在数学与代码数据筛选、数学奖励设计和数学课程学习四类任务上，选出的策略在固定训练条件下于AIME25 Pass@32最高比通用基线绝对提升13.34%。

该工作指出把选择网络直接嵌入现有元学习训练数据选择（MTS）目标会因权重抑制和对易学特征的持续依赖而导致优化不稳定与泛化差，并提出基于 Pointwise Value Matching（PVM）目标的可扩展数据选择框架 TESS，在 LLM 安全与定向指令微调实验中显示从子集到全语料、从较小模型到较大模型的强迁移。

该工作指出把选择网络直接嵌入现有元学习训练数据选择（MTS）目标会因权重抑制和对易学特征的持续依赖而导致优化不稳定与泛化差，并提出基于 Pointwise Value Matching（PVM）目标的可扩展数据选择框架 TESS，在 LLM 安全与定向指令微调实验中显示从子集到全语料、从较小模型到较大模型的强迁移。