字节跳动团队发现分块KV缓存压缩会让长上下文检索按压缩步长周期性变弱,DeepSeek-V4系列相位间准确率差距最高达40个百分点
该工作提出并系统刻画了分块KV缓存压缩模型中的“相位敏感性”:同一信息在相对压缩窗口边界的不同相位上检索难度不同,DeepSeek-V4系列在128K上下文下相位间检索准确率差距最高达40.2个百分点,作者通过从零预训练23个压缩模型(Qwen3-0.6B骨干、100B token)复现该现象、用KV头与层级的均值替换消融揭示相位专门化、并用理想化归纳模型证明梯度流会驱动压缩门形成静态偏好,从而说明平均基准分数会掩盖周期性的位置性失败。