VeRL-Omni v0.3.0 把异步执行铺到多模态强化学习：短答案仍宜同步，长回答才轮到分离异步
核心概要
VeRL-Omni v0.3.0 把异步执行扩展到文本、音频输入与扩散模型的多模态强化学习训练，并把基于 TransferQueue 与 ReplayBuffer 的 V1 训练器设为默认。此前严格交替的循环会让生成与训练两个角色互相空等。在 MiniCPM-o 4.5 的音视频问答实验中，分离异步在自然短回答上每提示慢约 9%，在强制 1024 token 回答时每提示快约 6.7%，说明执行方式要按负载选。
深度剖析
多模态强化学习训练现在可以在同一套栈里选择同步或异步执行，生成、奖励打分、策略更新与权重同步被放进同一条流水线协调。 此前严格交替的循环在某一角色工作时让另一角色闲置，而自回归生成、扩散去噪和音视频奖励解码各自占用不同资源。 MiniCPM-o 4.5 的 GSPO 音视频问答训练给出两条路径：分离异步在第 13 步得分 0.764，同位同步为 0.762，第 10 步验证奖励两者均为 0.747。
执行方式的选择被做成可测量的配置，而不是统一处方。 分离异步把 FSDP 训练角色与 vLLM-Omni 生成引擎放到不同 GPU 池，用回放缓冲区连接生成与训练，并按可配置间隔同步策略。 在单节点 4 张 H800 80 GB 上，同位 4+0（2×TP2）批大小 128 与分离异步 3+1（1×TP1）批大小 120 相比，自然约 101 token 时每提示 1.522 秒对 1.663 秒，1024 token 时 2.813 秒对 2.624 秒。
扩散模型一侧也获得异步能力，包括权重同步、动态混合 rollout 切换，以及扩散在线蒸馏的异步教师调度与独立教师路由。 回放缓冲区不足时，同位训练副本可临时借给生成使用，再按需收回训练。 MiniMax H3 的 DiffusionNFT 音视频后训练案例使用 8 张 GPU、每提示 16 个样本、LoRA 秩 64、CLAP 与 ImageBind 奖励，报告的训练奖励均值从约 0.27 上升到接近 0.4，约 60 步。
启示与展望
已展示的范围是 VeRL-Omni v0.3.0 发布中的配方与案例：MiniMax H3 的 DiffusionNFT 音视频后训练，以及 MiniCPM-o 4.5 的 GSPO 音视频问答同步与分离异步对比；后者在单节点 4 张 H800 80 GB 上以固定学习率、强制回答长度进行。读者应把它当作执行模式选择的实测依据，而非跨版本性能排名。
报告的训练奖励上升只说明所选奖励信号被优化，本身不构成视觉质量或时序一致性的普遍改善证据；定性示例为静音预览，无法展示音频质量或同步。耗时数字是单次运行连续 20 步的稳态均值，不是独立试验，且两个实验臂批大小不同，需按每提示口径比较。H3 的 DiffusionNFT 启动脚本仍走旧 V0 路径，这些数字不应读作 V1 结果。