Duo v1把世界模型改成双向对话：17帧一块，边看用户边开口，还能被打断

世界模型开始把“谁在回应”也算进世界本身：Duo v1 在生成音视频的同时持续接收用户的音频、视频和文本，可以主动开口、被打断或在对方说话时保持沉默。 此前的世界模型主要模拟物理一侧，用户通过键盘、鼠标、手柄或文本提示这类自由度有限的输入操控生成的世界，世界内部没有实体实时感知用户全貌并决定如何回应。 这一设定落实为分块的全双工交互：每块 17 帧视频，24 fps 下约 0.71 秒，两个模块都只条件于该块之前的交互历史，因此响应生成期间收到的用户输入可以进入后续块。

意图模块不再只是扩散模型的指令编码器，而是逐块自回归地推理当前交互，并输出一个参与决策。 在多数音视频生成模型中，语言模型充当扩散模型的指令编码器，只负责理解指令，不参与“此刻该不该说话”的判断。 每个块上，意图模块在已有用户输入和自身先前语言的条件下发出一条 <speak> 动作加文本，或一条 <wait> 动作；传给生成模块的是隐藏状态而非仅解码后的文本，训练时还用动作感知的重加权避免模型退化为一直等待。

两个模块被放在同一条时间线上，并用模块各自的注意力掩码保证因果性，使生成端看不到未来输入。 流式生成中，若时间对齐或掩码不严，未来帧会经由视觉前端或跨块注意力泄漏进当前决策。 用户语音、用户视频、意图 token 与助手媒体按同一时间线同步，每块只拿到其决策边界上可用的条件；意图模块的时间块在块内补齐，生成模块的噪声媒体 token 可以看参考图、意图特征和干净历史，但看不到本块干净目标或任何后续块。

双重 rollout 蒸馏把推理时的条件搬进训练，使四步流式生成器在接近真实交互的条件下学习。 蒸馏之前，生成模块是在录制好的助手文本意图特征和录制媒体历史上训练的，而实时对话中这两者都由系统自己产生。 在每个训练窗口内，冻结的意图模块自回归生成最后一个助手回合，生成模块再以由此得到的意图特征和自己生成的音视频历史为条件，用分布匹配蒸馏得到四步流式生成器。

已展示的范围是 30 个实时双工交互案例上的人工评测，每条回复按正常速度带声音回放，由 6 项二元标准判定；系统运行在单台八卡服务器上，每块覆盖约 0.71 秒的采集音视频。报告称 Duo v1 仍是初步版本，目前只支持基础音视频对话。

内容回应性只通过 73.3%（22/30），失误集中在需要读出言外之意的长尾对话，以及必须把语音和画面合起来才能确定意图的情形。报告还指出，响应时机、较长会话中的一致性以及从误解中恢复都仍需更广泛的评估，下一版本正在开发中。