# 组序列策略优化

VeRL-Omni v0.3.0 把异步执行扩展到文本、音频输入与扩散模型的多模态强化学习训练，并把基于 TransferQueue 与 ReplayBuffer 的 V1 训练器设为默认。此前严格交替的循环会让生成与训练两个角色互相空等。在 MiniCPM-o 4.5 的音视频问答实验中，分离异步在自然短回答上每提示慢约 9%，在强制 1024 token 回答时每提示快约 6.7%，说明执行方式要按负载选。

VeRL-Omni v0.3.0 把异步执行扩展到文本、音频输入与扩散模型的多模态强化学习训练，并把基于 TransferQueue 与 ReplayBuffer 的 V1 训练器设为默认。此前严格交替的循环会让生成与训练两个角色互相空等。在 MiniCPM-o 4.5 的音视频问答实验中，分离异步在自然短回答上每提示慢约 9%，在强制 1024 token 回答时每提示快约 6.7%，说明执行方式要按负载选。