AnchorCache 用静态文本锚点加掩码协同设计，让上下文扩散生成在图像、语音、视频上匹配全注意力质量并取得最高 6.40 倍推理加速
核心概要
该工作提出 AnchorCache——一种无需额外参数的 token 布局与注意力掩码协同设计：在缓存构建阶段插入静态文本锚点，使参考表示在指令条件下生成，从而让参考键值可在去噪步骤间被精确复用；为弥补这一结构转换带来的质量损失，作者采用教师强制速度蒸馏并接一个短的在策略阶段（在学生对访问过的状态上查询教师），在图像、语音、视频生成基准上匹配全注意力质量，且效率收益随参考上下文规模增长，扩散 Transformer 推理最高取得 6.40 倍加速。
深度剖析
提出 AnchorCache，通过插入静态文本锚点，在缓存构建阶段让参考表示受指令条件化，之后参考键值可在去噪步骤间精确复用。 此前解耦参考 token 与目标虽可实现精确键值复用，却使参考无法关注指令，损害指令遵循与参考保真度；作者指出这一权衡无法仅靠注意力掩码设计解决，而 AnchorCache 以 token 布局与掩码的协同设计绕开该权衡。 论文摘要给出方法层面的机制说明，并在图像、语音、视频生成基准上报告与全注意力质量匹配的结果；具体基准名称、模型规模与逐项指标未在摘要中列出。
为恢复结构转换初期损失的质量，作者采用教师强制速度蒸馏，随后接一个短的在策略阶段，在学生对访问过的状态上查询教师。 作者称这是首次将在线策略蒸馏用于扩散模型的架构恢复。 摘要以方法描述与作者自述的首次性主张呈现，未给出蒸馏阶段的消融数值或训练成本细节。
效率收益随参考上下文规模增大而提升，扩散 Transformer 推理最高达到 6.40 倍加速。 收益来自参考侧计算不再随每个去噪步骤重复，且随参考数量增加而放大，这正对应上下文扩散中成本增长最快的部分。 摘要报告 6.40 倍这一峰值加速数字，并说明该收益随参考上下文规模增长；未给出不同参考规模下的完整加速曲线。
启示与展望
该结果面向采用指令、目标、参考 token 拼接联合注意力的上下文扩散 Transformer 推理场景，适用于参考上下文规模较大、参考侧重复计算成为主要开销的生成任务；受益者是需要多参考条件生成的图像、语音、视频应用与推理服务。方法被描述为无参数，因此其适用前提是模型本身支持所设计的 token 布局与注意力掩码。
摘要未列出具体基准名称、模型规模、参考上下文规模与逐项质量指标，因此“匹配全注意力质量”的边界条件仍需在正文中核对；6.40 倍为报告的最高加速，不同参考规模下的加速曲线与质量—效率权衡点尚不清楚；教师强制速度蒸馏与短在策略阶段的相对贡献、额外训练成本与稳定性，也属于读者会继续关注的问题。本次可获取的文本为摘要与元数据层面的内容，图表与实验表格未包含在内，这限制了对上述细节的进一步总结。