流式视频配音追上离线对齐：LiveFoley 前端只看 0.08 秒，端到端延迟 156 毫秒
核心概要
实时视频转音频长期受制于两处瓶颈：视觉前端为压低预看延迟而缩小感受野，因果扩散后端又逐块独立去噪，导致音画对齐和音质都落后于离线模型。LiveFoley 用尾随滑动窗口把现成的非因果片段级编码器改造成流式模块，无需重训练即可把前端预看降到 0.08 秒，并在后端把去噪窗口向历史扩展。在 VGGSound 测试集上，LiveFoley-48k 的 DeSync 为 0.48，与离线 MMAudio-L 的 0.47 相当，单张 A800 上端到端延迟 156 毫秒。
深度剖析
流式视频转音频现在可以在 0.08 秒前端预看下达到与离线模型相当的时间对齐，同时保持流式系统中最好的音质。 此前的流式系统必须在两者之间取舍：V-AURA 采用片段级编码器但预看 0.64 秒，SoundReactor 用逐帧特征把预看压到 0.08 秒却明显牺牲对齐，WorldSonus 在 0.10 秒预看下 DeSync 为 0.67。 在完整 VGGSound 测试集上，LiveFoley-48k 的 DeSync 为 0.48，与离线 MMAudio-L 的 0.47 相当，优于所有流式基线（0.67 至 1.03）；LiveFoley-16k 在流式系统中取得最好的 Fréchet 距离 9.56 和 KL 散度 92.48。
前端不再靠缩小窗口换低延迟，而是把片段窗口的尾部锚定在当前帧，让窗口随新帧滑动。 分块窗口必须等满一个窗口的帧才能编码，预看随窗口长度线性增长；把窗口从 4 个 token 缩到 1 个虽把预看从 0.32 秒降到 0.08 秒，却收窄了时间感受野。 在 VGGSound-Curated 子集上以 V-AURA 为测试台，预看从 0.32 秒降到 0.08 秒时，分块窗口的 DeSync 从 0.67 退化到 0.88，尾随滑动窗口则从 0.60 到 0.61 几乎不变。
后端把局部扩散头的去噪窗口向历史扩展，让相邻音频块在去噪时互相看到。 此前的流式系统逐块独立去噪，只能通过自回归隐状态间接看到历史，缺少跨块上下文，训练更不稳定、音质更差。 在消融中，History LocDiT 相对 Independent LocDiT 把 Fréchet 距离从 21.08 降到 17.55、ImageBind 分数从 0.31 升到 0.32，且不增加后端预看。
启示与展望
演示范围是 25 fps 视频输入、在单张 A800 GPU 上运行的流式推理，默认设置端到端延迟 156 毫秒，Future-Warmup LocDiT 额外增加 0.08 秒后端预看后为 236 毫秒；训练语料约 2000 小时、74.5 万段，主要评测在 VGGSound 测试集上。
生成质量与离线模型仍有差距：LiveFoley-16k 在 KL 散度（92.48 对 74.16）、Fréchet 距离（9.56 对 8.48）、IS（11.30 对 11.62）和 ImageBind（0.29 对 0.31）上落后于 MMAudio-L，因果模型必须在只看到已到达帧的情况下确定声音。听测中 LiveFoley 的音质 MOS-Q 为 3.23，低于 MMAudio-L 的 3.62；作者把在流式约束下缩小这一差距列为开放方向。