PTH 检查揭示：实验框架的四处细节可反转陈旧数据强化学习方法的排名，修正后 TIS 在 verl 上与 SAN 持平
相关研究与后续进展
核心概要
该工作提出 PTH（Probe The Harness）检查清单，并以 SAN 与截断重要性采样（TIS）在 verl 与单 GPU 训练器上的对比为案例，指出 PPO 比率取自学习器自身重算概率、数据种子未到达 TIS 分支、回放队列首个批次被复用 33 次更新、两个损失归一化器与描述不符这四处框架细节会反转方法排名；检查框架后，TIS 在 verl 上与 SAN 持平，在训练器中 TIS 稳定学习而 SAN 保持一定优势。
Figure 1: The PPO-clip arm trains without an active clip. verl, Qwen2.5-Math-1.5B, GSM8K, refresh interval 96. (a) Greedy validation accuracy, one line per data seed; the dotted line marks the refresh. The PPO-clip arm (orange) drops after update 80 in every seed; SAN + \text{SAN}^{+} (blue) and TIS (green) end level. (b) For the PPO-clip runs, the per-token KL between sampler and learner grows by four orders of magnitude before the refresh, while the clip fraction stays at zero on every update.
arXiv深度剖析
实验框架的细节足以反转陈旧样本训练方法的排名：在 SAN 与 TIS 的对比中，SAN 起初在两个技术栈上都领先。 以往这类方法以对重要性修正基线的比较来评判，而该工作把比较所依赖的框架本身作为可检验对象，指出被记录的指标看似正常、真正定义比较的量却未被检查。 基于 verl 与单 GPU 训练器两个技术栈上的 SAN 与 TIS 对比案例，逐一给出四处框架细节及其对比较结果的影响。
四处框架细节被识别并给出各自的特征签名：PPO 比率取自学习器自身重算的概率、数据种子未到达 TIS 分支、回放队列首个批次被复用 33 次更新、两个损失归一化器与描述不符。 这些细节此前未被作为比较有效性的检查项，该工作把它们显式化并给出可识别的签名。 以案例中每处细节出现时记录量与比较量的差异为依据，说明每处细节如何改变比较。
检查框架后结论改变：TIS 在 verl 上与 SAN 持平，在训练器中 TIS 稳定学习而 SAN 保持一定优势。 同一组方法在框架被检查前后得到不同的排名结论，说明排名对框架设置敏感。 来自两个技术栈上修正框架后的对比结果，并附有采样器滞后下 TIS 与未修正 GRPO 的参考结果。
该工作贡献了 PTH 检查清单，以及采样器滞后下 TIS 与未修正 GRPO 的参考结果。 把框架可见性做成可复用的检查流程，并为滞后采样场景提供参照结果。 以案例中四处细节的签名与效果为基础整理成清单，参考结果覆盖 TIS 与未修正 GRPO 在采样器滞后下的表现。
启示与展望
该工作面向在陈旧样本上训练语言模型并需要与重要性修正基线比较的研究者与工程实践者，适用于使用 verl 或单 GPU 训练器这类技术栈、且比较涉及 PPO 比率、数据种子、回放队列与损失归一化器等设置的场景。PTH 清单与四处细节的签名可用于在报告排名前检查框架是否使比较成立；采样器滞后下 TIS 与未修正 GRPO 的参考结果可作为该设定下的对照。
该摘要未给出实验规模、模型规格、训练步数或统计不确定性，也未说明四处细节在多大范围内普遍出现，因此清单之外是否还有其他会反转比较的框架细节仍是开放问题。摘要未提供 PTH 清单的具体条目与操作步骤，也未给出采样器滞后下参考结果的数值，读者若需据此复现或直接套用，仍需查阅原文的清单与结果细节。