FluidPD 在 SGLang 上实现原地 P/D 弹性：Azure 轨迹上 SLO 达成率最高提升 94.6 个百分点，且不增加 GPU
作者提出 FluidPD，一个在 SGLang 上实现的预填充-解码（P/D）分离式 LLM 服务系统，通过 FluidToken 将部分预填充后缀卸载到有空闲的解码 worker、并通过 FluidRole 在不重载模型的前提下原地切换 worker 角色，在 Azure 轨迹构造的 staged 与 mixed 负载上，相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点，相比 Dynamo 自动扩缩容最高提升 88.3 个百分点且使用更少 GPU。