# DepthGraft

DepthGraft把跨层KV共享从省缓存的推理技巧改造成一种训练期的结构正则：深层不再独立计算KV，而是从浅层与中层按相同相对深度取一对源层，用可学习的逐通道系数重建。这样深层的梯度会沿共享边回流到源层KV投影，使键的检索方向更集中、值的内容子空间更丰富。在0.5B到16B的稠密与MoE模型上，下游平均分一致提高，16B MoE的MMLU-Pro绝对提升7.0个百分点，同时KV缓存减少约三分之一。

DepthGraft把跨层KV共享从省缓存的推理技巧改造成一种训练期的结构正则：深层不再独立计算KV，而是从浅层与中层按相同相对深度取一对源层，用可学习的逐通道系数重建。这样深层的梯度会沿共享边回流到源层KV投影，使键的检索方向更集中、值的内容子空间更丰富。在0.5B到16B的稠密与MoE模型上，下游平均分一致提高，16B MoE的MMLU-Pro绝对提升7.0个百分点，同时KV缓存减少约三分之一。