# KV缓存传输

BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。

BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。

作者提出 FluidPD，一个在 SGLang 上实现的预填充-解码（P/D）分离式 LLM 服务系统，通过 FluidToken 将部分预填充后缀卸载到有空闲的解码 worker、并通过 FluidRole 在不重载模型的前提下原地切换 worker 角色，在 Azure 轨迹构造的 staged 与 mixed 负载上，相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点，相比 Dynamo 自动扩缩容最高提升 88.3 个百分点且使用更少 GPU。

作者提出 FluidPD，一个在 SGLang 上实现的预填充-解码（P/D）分离式 LLM 服务系统，通过 FluidToken 将部分预填充后缀卸载到有空闲的解码 worker、并通过 FluidRole 在不重载模型的前提下原地切换 worker 角色，在 Azure 轨迹构造的 staged 与 mixed 负载上，相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点，相比 Dynamo 自动扩缩容最高提升 88.3 个百分点且使用更少 GPU。