推理模型强化学习训练不再只调执行：RPEG把流水线结构也纳入搜索，256块GH200上相对ReaL最高提速2倍
核心概要
推理语言模型的强化学习训练每步要串起生成、评估、训练多个大模型，现有系统通常只优化其中一部分。RPEG把流水线结构（有界异步、actor–critic共享）与执行方案（阶段融合、细粒度调度、多维并行）放进同一张图里联合搜索，并配一个经硬件校准的解析性能模型。在最多256块GH200上，其运行时相对ReaL端到端最高提速2倍，相对verl每步延迟最高降低2.48倍，硬件利用率最高提升30%。
深度剖析
推理语言模型的强化学习后训练被当作一个可搜索的图来优化，流水线结构本身成为优化变量，而不只是把固定图映射到硬件。 此前的系统各自只覆盖设计空间的一部分：ReaL与HybridFlow/verl做放置与并行策略选择，RLHFuse、AReaL、Laminar、StaleFlow做细粒度或异步执行，另一些工作做自适应资源编排。 在最多256块GH200 GPU上，实现RPEG的分布式运行时相对ReaL端到端性能最高提升2倍，相对verl在同步、actor与critic分离的受控比较中每步延迟最高降低2.477倍（中位数1.488）。
每个候选配置先被展开成有限步的无环图，再按执行方案降级为带显式通信与重分片节点的可执行图，由解析模型估时、贪心调度器排出执行顺序并打分。 解析性能模型同时计入计算、通信、内存，以及机架、节点、GPU三级的层次化通信代价，并用自动硬件校准替代厂商标称峰值。 在123个覆盖3B、7B、13B模型、1至128块GPU、25种并行策略的配置上，执行时间预测的平均绝对百分比误差为15.5%，峰值内存预测为15.1%。
运行时按完成事件驱动执行选中的方案，并核对实际执行的依赖、参数版本、传输与资源归属是否与优化器选中的方案一致。 优化器同时搜索结构与执行，若运行时偏离所选配置，预测与实测的对应关系和训练语义都会失效。 在GH200上，7个Llama 3.1 8B基线共20组实测比较中，优化后的配置全部优于各自基线，加速1.250至1.471倍，图执行时间约减少20%至32%。
启示与展望
实测覆盖A100与GH200两类集群，端到端比较最多到256块GH200；解析模型验证覆盖3B、7B、13B模型、1至128块GPU与25种并行策略。作者提出该图原生编排思路可延伸到多智能体、工具增强训练与推理时推理，但未给出这些场景的实测。
解析模型对推理与生成存在系统性低估，作者归因于每GPU约2至3GB未建模的CUDA上下文开销，靠预留余量吸收。消融显示各机制效果依赖负载，例如固定微批数在较小配置上提升2.1%至2.4%，在70B情形下却下降17.5%。训练结果可比性证据来自与同步verl在平均rollout奖励上的比较，相对差在0.47%以内。