跳到主要内容
检索

# 分布匹配蒸馏

8 篇关联报道

订阅更新
  1. arXiv

    Duo v1把世界模型改成双向对话:17帧一块,边看用户边开口,还能被打断

    Duo v1 是一个全双工世界模型,它在持续接收用户音视频的同时实时生成助手的声音与画面。此前的世界模型多把智能放在世界之外,用户只能靠键盘、鼠标或文本提示操控场景,世界内部没有谁实时感知用户并决定如何回应。Duo v1 把交互切成 17 帧(24 fps 下约 0.71 秒)的块,由语言意图模块逐块决定说话还是等待,再由因果音视频模块生成对应的声音与画面;在 30 个实时双工案例、6 项二元标准的 180 次检查中通过 168 次,其中语言、语音清晰度和视觉身份三项共 90 次全部通过,内容回应性为 73.3%。

  2. arXiv

    History Forcing 让少步视频模型记住久远历史:1.3B 学生 60 秒 VBench-Long 达 79.82

    少步自回归视频扩散模型在长推演中会逐渐丢失主体与场景信息,现有蒸馏目标没有把久远历史单独作为约束。History Forcing 用同一自回归教师在有、无额外历史两种条件下的预测之差构造上下文残差,加权后修正 DMD 或 OPSD 的蒸馏目标。1.3B 学生模型在 15 秒生成上取得 VBench 质量分 85.07,在 60 秒生成上取得 VBench-Long 综合分 79.82,并在相机离开再返回的评测中把 PlayWorld 演化质量从 2.35 提到 2.70。

  3. arXiv

    少步数文生图补上特征矩约束:Z-Image-Turbo 两次评估中文长文本达94.25%

    少步数文生图要在极少采样次数里把提示中的细节画准,而分布匹配蒸馏(DMD)依赖学习到的分数差,统计量未必对齐。Intrinsic Distribution Matching 在保留完整 DMD 修正的同时,用生成器指数滑动平均副本的特征均值与逐坐标标准差加了一项矩约束,不需要外部特征编码器。在 Z-Image-Turbo 6B 上两次网络评估时,中文与英文 LongText-Bench 分别达到 94.25% 和 90.20%,为所比较方法中该预算下的最高分。

  4. arXiv

    DuoMatching用联合-边缘分布匹配提升少步视频生成,人类评测对全部基线总体偏好率超80%

    DuoMatching提出统一的联合-边缘分布匹配框架:在既有联合DMD之外,用图像生成模型对单帧边缘分布做直接监督,并以LatentBridge解决视频与图像隐空间不匹配、以Latent Variation Sampling把帧级监督分散到不同时间段;在因果与双向少步视频生成中提升了视觉质量、构图与语义对齐,同时基本保持运动动态,人类评测对全部基线的总体偏好率超过80%。

  5. arXiv

    Memorizon 让世界模型在固定序列长度下训练任意长跨度:重访一致性在八个记忆指标中领先五个

    Memorizon 提出一种训练配方:每个被评分的 chunk 按相机共视性各自检索 top-k 潜变量,其并集构成容量有界的共享记忆库,使训练样本可覆盖任意长跨度而注意力序列长度保持不变;在滑动窗口基线上重访一致性全面提升,跨度长到覆盖首次访问后进一步提升,代价是图像质量下降。

  6. arXiv

    SoL-Refiner 用单步去噪把低分辨率生成视频精修到 4K,2K 延迟从 57.461 秒降到 6.447 秒

    该工作提出 SoL-Refiner,一个单步视频精修器,通过高分辨率持续训练、基于帧级奖励模型的强化学习后训练和最终一步蒸馏三阶段配方,把低分辨率生成器输出转换为 4K 视频,并构建 Refiner-Bench 用共享输入协议在约 2K 输出分辨率下比较精修器,在 2K 下其单步模型在 VBench 与 UniPercept 平均值上优于所有被评估的外部精修器,在 3840×2176 下两项指标均超过三步 LTX-2.3 Refiner,完整加速栈在 2K 延迟设定下相对同一基线取得 8.91 倍精修延迟加速。

  7. arXiv

    WorldLine 用一万小时无动作视频预训练、两千小时跨十种本体动作轨迹接地,在失败轨迹上把机器人掩码 IoU 提升 0.1626,并以 74% 平均准确率预测轨迹成败

    WorldLine 提出一种动作驱动的视觉模拟器,把可迁移的机器人—物体动力学学习与异构动作接地解耦:先在超过 10,000 小时无动作机器人视频上预训练,再用超过 2,000 小时、跨十余种本体的动作轨迹通过图像空间动作图接地,并配合多视角、失败样本与关系正则化训练,最后用机器人聚焦的少步蒸馏实现因果 rollout;在留出与域外设置下保持视觉质量与机器人运动一致性,失败轨迹上机器人掩码 IoU 比最强基线高 0.1626,在 RoboTwin 与 AgiBot 上以 74% 平均准确率预测轨迹成败,并在未用 RoboTwin 训练或适配的情况下把任务成功率最多提升 21.4 个百分点。

  8. arXiv

    WorldCrafter:一致视频世界模型与隐式三维感知记忆

    该工作提出 WorldCrafter,一个相机可控的自回归视频世界模型:它学习可被相机位姿查询的隐式三维感知记忆,把历史潜帧压缩成固定 token 预算的记忆标记,在去噪前注入视频扩散 Transformer,使单张图像或文本提示即可驱动分钟级的流式场景探索,并在静态与动态场景的重访一致性和相机控制准确度上优于所评估的基线,同时保留视觉质量。

已读完全部报道