跳到主要内容
检索

# 流匹配Transformer

2 篇关联报道

订阅更新
  1. arXiv

    流式视频配音追上离线对齐:LiveFoley 前端只看 0.08 秒,端到端延迟 156 毫秒

    实时视频转音频长期受制于两处瓶颈:视觉前端为压低预看延迟而缩小感受野,因果扩散后端又逐块独立去噪,导致音画对齐和音质都落后于离线模型。LiveFoley 用尾随滑动窗口把现成的非因果片段级编码器改造成流式模块,无需重训练即可把前端预看降到 0.08 秒,并在后端把去噪窗口向历史扩展。在 VGGSound 测试集上,LiveFoley-48k 的 DeSync 为 0.48,与离线 MMAudio-L 的 0.47 相当,单张 A800 上端到端延迟 156 毫秒。

  2. arXiv

    病理切片生成不再止步千像素小图:整张十亿像素切片一次连贯生成,合成样本让少样本分类最多提升18%

    病理图像生成此前只在图块尺度进行,最多产出1024×1024像素的小块,而临床诊断的文本报告和切片级标签都作用于整张切片。BigCell把流匹配变换器训练在2048×2048像素、超过12万张公开全切片图像上,并用推理时的滑窗流程生成最高32768×32768像素的连贯图像,在图块级和切片级保真度指标上优于此前的图块生成器。它还引入自适应调度优先处理重要区域,生成速度提升三倍以上而质量下降很小,并用合成样本把切片级少样本分类性能最多提升18%。

已读完全部报道