跳到主要内容
返回时间线
arXiv来源发表:

扩散模型缓存不再只看探针波动:除以轨迹位移,同预算下LPIPS再降一截

核心概要

训练无关的扩散缓存把精确计算花在更该花的位置:用探针输出变化除以输入位移来在线判断风险,在FLUX.1-dev、Wan2.1与Open-Sora 1.2上以相同精确计算预算降低中位LPIPS。

Source-provided article image: CacheScope: Exact-Compute Allocation for Training-Free Diffusion Acceleration
Figure 3 · arXiv

深度剖析

扩散Transformer的免训练缓存加速,关键变量从“怎么重建被跳过的特征”转向“把有限的精确计算放在哪些去噪步”。 此前的自适应调度按浅层探针输出的绝对变化量排序,变化大就触发一次完整去噪计算。 在固定重建器、探针深度、预热策略和精确去噪次数后,不同复用位置仍带来明显不同的生成质量;在Wan2.1、FLUX与Open-Sora 1.2上,相同加速比下CacheScope取得最低中位LPIPS。

判断某一步是否值得精确计算,要看网络对当前轨迹方向的响应强度,而不是输出变化的绝对大小。 绝对探针变化同时混入了输入轨迹位移和网络响应强度两个因素,因此跨步不可直接比较。 把探针输出变化除以对应的输入位移,得到单位轨迹移动的方向性增益;在Wan2.1与FLUX上,该归一化信号相对默认DiCache信号和差分信号都降低了中位LPIPS,且三种调度器执行的精确前向次数几乎相同。

该调度规则在线累积灵敏度,累积值越过阈值就回退到完整去噪计算,并重置累加器。 它不改变底层缓存重建器,也不需要训练、梯度、辅助网络或离线逐提示调度搜索。 阈值只在16条提示的开发集上按目标精确计算预算校准一次后冻结,再在32条互不重叠的测试提示上评估;额外开销仅为一次标量除法与累加,实测延迟差异很小。

启示与展望

该调度规则面向已有基于浅层探针的免训练缓存流程,在FLUX.1-dev、Wan2.1-T2V-1.3B与Open-Sora 1.2上按各自生成协议评估,阈值在开发集校准后冻结。它只决定额外精确计算放在哪些复用步,不改变缓存重建器与缓存历史。灵敏度目前由沿实际去噪方向的单个浅层探针估计,多探针与更高阶轨迹信号被列为后续工作。

在Wan2.1上SSIM出现个别权衡,因此以LPIPS作为主要感知指标,而非声称在所有指标上一致占优。离线聚合分析显示,在FLUX该工作点上跨提示共享的调度结构已包含大部分有用信息,提示级在线变化未带来统计上可检测的额外收益,该结论限于所评估的骨干与工作点。探针归一化信号在高跳步比下的排序依赖骨干,未声称普遍排序。