面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。
SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。
多轮智能体对话每轮都要把历史重新送进预填充节点，KV缓存此前只能从预填充单向流向解码节点，解码节点生成的缓存无法被回用。vLLM 引入双向 KV 传输，让解码节点保留并回传已算好的 KV 块，预填充节点按可配置阈值决定复用还是重算。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 Qwen3-32B 的首字延迟降低约 1.6 倍，GLM-5-FP8 降低约 3.3 倍，效果随提示长度增长，具体取决于负载与配置。
vLLM-Omni 团队提出一个以编排器为中心的多阶段服务运行时，把 omni、TTS、扩散、世界模型与 VLA 工作负载拆成绑定独立引擎与资源预算的 stage，通过 OmniConnector 传输隐藏状态、codec 码、latent 与分页 KV，并用 session 控制长时交互；在 H100/H200 上报告了 Qwen3-Omni 语音服务、TTS 组合、图像视频扩散与 MiniCPM-o 双工健康度指标。
作者提出 FluidPD，一个在 SGLang 上实现的预填充-解码（P/D）分离式 LLM 服务系统，通过 FluidToken 将部分预填充后缀卸载到有空闲的解码 worker、并通过 FluidRole 在不重载模型的前提下原地切换 worker 角色，在 Azure 轨迹构造的 staged 与 mixed 负载上，相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点，相比 Dynamo 自动扩缩容最高提升 88.3 个百分点且使用更少 GPU。
该工作提出“分离式量化”（DQ），把 LLM 推理的预填充与解码两个阶段分别配置计算格式、权重与存储位置，并配套提出 QADD 训练方法；在 Qwen 3 与 Gemma 3 上，仅在解码阶段取消激活量化即可在不增加推理成本的前提下提升解码密集型任务准确率，训练独立的 NVFP4 预填充权重可在 2–3-bit 解码下同时加快预填充并提升准确率，在 Qwen3.8-27B 的 1-bit GGUF 解码器上把 MMLU-Pro 与 MMMU-Pro 准确率提升到原来的两倍以上，并通过从 SSD 流式加载预填充权重的 ODP 在 8K 上下文下取得相对 weight-only 基线的首 token 时延加速。
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7 倍、在 DeepSeek-R1 上最高达 2.5 倍，同时 GB300 NVL72 以 288 GPU 四机架实现 99% 扩展效率，软件优化较 v6.0 提升最高 1.6 倍。
已读完全部报道