跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

PTH 检查揭示:实验框架的四处细节可反转陈旧数据强化学习方法的排名,修正后 TIS 在 verl 上与 SAN 持平

该工作提出 PTH(Probe The Harness)检查清单,并以 SAN 与截断重要性采样(TIS)在 verl 与单 GPU 训练器上的对比为案例,指出 PPO 比率取自学习器自身重算概率、数据种子未到达 TIS 分支、回放队列首个批次被复用 33 次更新、两个损失归一化器与描述不符这四处框架细节会反转方法排名;检查框架后,TIS 在 verl 上与 SAN 持平,在训练器中 TIS 稳定学习而 SAN 保持一定优势。