VeRL-Omni v0.3.0 把异步执行扩展到文本、音频输入与扩散模型的多模态强化学习训练，并把基于 TransferQueue 与 ReplayBuffer 的 V1 训练器设为默认。此前严格交替的循环会让生成与训练两个角色互相空等。在 MiniCPM-o 4.5 的音视频问答实验中，分离异步在自然短回答上每提示慢约 9%，在强制 1024 token 回答时每提示快约 6.7%，说明执行方式要按负载选。
结构条件RNA逆向设计此前要么为每个目标骨架单独训练策略，要么依赖离线偏好优化，可复用的骨架条件模型缺少在线后训练。MORAD把六个设计测量映射到有界合意分数，用加权几何平均合成奖励，再以组相对归一化驱动扩散模型的前向过程更新。在153个评测目标上，它把GDT-TS从0.3300提到0.3827、配对MCC从0.6110提到0.7295，并把归一化系综缺陷从0.3906降到0.2830。
该工作提出自适应奖励路由（Adaptive Reward Routing），在DiffusionNFT前向过程强化学习中同时自适应调整奖励驱动更新的作用位置与多奖励协调方式：用双向交叉注意力响应作为跨模态影响的代理来动态重加权token损失并缩放跨模态层梯度，并在预热后以分支内奖励梯度交互作为残差修正预设偏好权重，在LTX-2（19B）与LTX-2.3（22B）两个联合音视频扩散骨干上、基于19,487条音视频提示训练，于JavisBench的10,140条提示上在十项指标中的九项取得最优。
已读完全部报道