# vLLM-Omni全模态服务运行时

vLLM-Omni 团队提出一个以编排器为中心的多阶段服务运行时，把 omni、TTS、扩散、世界模型与 VLA 工作负载拆成绑定独立引擎与资源预算的 stage，通过 OmniConnector 传输隐藏状态、codec 码、latent 与分页 KV，并用 session 控制长时交互；在 H100/H200 上报告了 Qwen3-Omni 语音服务、TTS 组合、图像视频扩散与 MiniCPM-o 双工健康度指标。

vLLM-Omni 团队提出一个以编排器为中心的多阶段服务运行时，把 omni、TTS、扩散、世界模型与 VLA 工作负载拆成绑定独立引擎与资源预算的 stage，通过 OmniConnector 传输隐藏状态、codec 码、latent 与分页 KV，并用 session 控制长时交互；在 H100/H200 上报告了 Qwen3-Omni 语音服务、TTS 组合、图像视频扩散与 MiniCPM-o 双工健康度指标。