跳到主要内容
检索

# 全双工交互

2 篇关联报道

订阅更新
  1. arXiv

    Duo v1把世界模型改成双向对话:17帧一块,边看用户边开口,还能被打断

    Duo v1 是一个全双工世界模型,它在持续接收用户音视频的同时实时生成助手的声音与画面。此前的世界模型多把智能放在世界之外,用户只能靠键盘、鼠标或文本提示操控场景,世界内部没有谁实时感知用户并决定如何回应。Duo v1 把交互切成 17 帧(24 fps 下约 0.71 秒)的块,由语言意图模块逐块决定说话还是等待,再由因果音视频模块生成对应的声音与画面;在 30 个实时双工案例、6 项二元标准的 180 次检查中通过 168 次,其中语言、语音清晰度和视觉身份三项共 90 次全部通过,内容回应性为 73.3%。

  2. arXiv

    Realtime-Venus 用两个 9B 前端把实时对话与后台任务拆成双循环,在八项视频基准中的六项领先在线模型

    该工作提出 Realtime-Venus 主动式全双工交互系统,包含分别训练的 9B 模型 Realtime-Venus-Omni(音视频交互)与 Realtime-Venus-Audio(语音交互),二者以共享因果时间线统一连续感知、对话控制、原生语音生成与私有委派请求,并由 Realtime-Venus-Harness 在双循环运行时中异步执行后台能力,在八项视频基准中的六项取得所比较在线模型的最高分,并在多项音频理解、口语问答与全双工重叠语音指标上领先或持平。

已读完全部报道