Yangshuai Liu

该工作提出 AnchorCache——一种无需额外参数的 token 布局与注意力掩码协同设计：在缓存构建阶段插入静态文本锚点，使参考表示在指令条件下生成，从而让参考键值可在去噪步骤间被精确复用；为弥补这一结构转换带来的质量损失，作者采用教师强制速度蒸馏并接一个短的在策略阶段（在学生对访问过的状态上查询教师），在图像、语音、视频生成基准上匹配全注意力质量，且效率收益随参考上下文规模增长，扩散 Transformer 推理最高取得 6.40 倍加速。

该工作提出 AnchorCache——一种无需额外参数的 token 布局与注意力掩码协同设计：在缓存构建阶段插入静态文本锚点，使参考表示在指令条件下生成，从而让参考键值可在去噪步骤间被精确复用；为弥补这一结构转换带来的质量损失，作者采用教师强制速度蒸馏并接一个短的在策略阶段（在学生对访问过的状态上查询教师），在图像、语音、视频生成基准上匹配全注意力质量，且效率收益随参考上下文规模增长，扩散 Transformer 推理最高取得 6.40 倍加速。