深层KV不再各层自建：跨层重建把16B MoE的MMLU-Pro抬高7.0个百分点
DepthGraft把跨层KV共享从省缓存的推理技巧改造成一种训练期的结构正则：深层不再独立计算KV，而是从浅层与中层按相同相对深度取一对源层，用可学习的逐通道系数重建。这样深层的梯度会沿共享边回流到源层KV投影，使键的检索方向更集中、值的内容子空间更丰富。在0.5B到16B的稠密与MoE模型上，下游平均分一致提高，16B MoE的MMLU-Pro绝对提升7.0个百分点，同时KV缓存减少约三分之一。
vLLM 首日接住 Mistral Large 4：NVFP4 解码比 FP8 快 1.08–1.19 倍，KV 缓存多约 1.5 倍
vLLM 在发布当天为 Mistral Large 4 提供推理支持，这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上，NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍，并持有约 1.5 倍 KV 缓存，而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。
WhiteMatter 让 Transformer 每层都能读取任意深度的历史表示，半量 KV 缓存下困惑度优于同规模基线
该工作提出 WhiteMatter，用可学习路由器把任意深度的历史 token 表示混合成共享的 KV 通道，使每层可读取跨层信息，并配合循环 Gauss–Seidel 迭代加速训练与预填充；在相同训练 token 预算下，半缓存 WhiteMatter 在最多约 1.3B 参数的两个规模上困惑度与下游平均分优于匹配的标准 Transformer，全缓存版本与层数更多的标准 Transformer 表现相当。
已读完全部报道