跳到主要内容
检索

# 自回归扩散

3 篇关联报道

订阅更新
  1. arXiv

    流式视频配音追上离线对齐:LiveFoley 前端只看 0.08 秒,端到端延迟 156 毫秒

    实时视频转音频长期受制于两处瓶颈:视觉前端为压低预看延迟而缩小感受野,因果扩散后端又逐块独立去噪,导致音画对齐和音质都落后于离线模型。LiveFoley 用尾随滑动窗口把现成的非因果片段级编码器改造成流式模块,无需重训练即可把前端预看降到 0.08 秒,并在后端把去噪窗口向历史扩展。在 VGGSound 测试集上,LiveFoley-48k 的 DeSync 为 0.48,与离线 MMAudio-L 的 0.47 相当,单张 A800 上端到端延迟 156 毫秒。

  2. arXiv

    只给脚何时落地,全身动作就能生成:StepControl 在长时连续生成中守住接触时序

    人体动作生成此前多靠指定做什么动作或身体往哪走,StepControl 换了一个控制入口:只给未来左右脚的落地时间表,不要求目标根节点与身体姿态,也不用语义提示。它把接触当作显式时间事件,用专门的交叉注意力注入,并配合无分类器引导与随机混合噪声调度、预热策略来稳定长时自回归生成。实验显示它比把现有空间引导生成器改造成接触约束更准确地遵循规定接触时序,并在长连续生成中保持接触控制,还能响应步频变化、走走停停、跛行和双脚跳等编辑后的时间表。

  3. Amazon Science homepage

    以内核为中心的路径:在 Trainium 上实现实时视频生成

    Reactor 与 Amazon Neuron Science 团队以 Rolling Forcing 自回归扩散视频模型为代理,采用以内核为中心的自底向上方法,通过 Neuron Kernel Interface 编写硬件级内核、混合序列并行与张量并行分片、以及合并扩散与缓存更新两阶段中相同组件的模型结构改写,在 Trainium 上首次端到端运行即生成正确视频,并实现高于 16 fps 的实时生成。

已读完全部报道