跳到主要内容
检索

Yusheng Dai

1 篇关联报道

订阅更新
  1. arXiv

    流式视频配音追上离线对齐:LiveFoley 前端只看 0.08 秒,端到端延迟 156 毫秒

    实时视频转音频长期受制于两处瓶颈:视觉前端为压低预看延迟而缩小感受野,因果扩散后端又逐块独立去噪,导致音画对齐和音质都落后于离线模型。LiveFoley 用尾随滑动窗口把现成的非因果片段级编码器改造成流式模块,无需重训练即可把前端预看降到 0.08 秒,并在后端把去噪窗口向历史扩展。在 VGGSound 测试集上,LiveFoley-48k 的 DeSync 为 0.48,与离线 MMAudio-L 的 0.47 相当,单张 A800 上端到端延迟 156 毫秒。

已读完全部报道