多模态生成不再联合训练：SnB 在采样中途分叉，复用预训练扩散模型
核心概要
多模态生成此前多依赖从零联合训练一个共享隐变量，难以扩展到高分辨率图像。SnB 改为在采样时耦合各自预训练的单模态扩散模型：先共享一段反向扩散轨迹，在分叉点经桥接模块转入各模态分支。在 CelebAMask-HQ 上，SnB 在全部共享比例设置下取得最低 FID，同时保持较强一致性；在 PolyMNIST 上则与自上而下方法互有胜负。
深度剖析
多模态生成可以不再从零联合训练一个共享隐变量，而是把已经训练好的单模态扩散模型在采样阶段拼接起来，按需生成相互对应的多种视觉数据。 此前的自上而下方法依赖联合训练和受限的联合后验假设，例如专家乘积或专家混合，并受隐变量瓶颈与一致性—质量权衡的限制。 在 CelebAMask-HQ 的人脸—分割掩码联合生成中，SnB 在报告的各个共享比例设置下都取得最低 FID，同时保持较强一致性，优于基于 VAE 和基于扩散的自上而下基线。
做法是让两个模态先沿同一条反向扩散轨迹去噪，到分叉时间点后各自沿本模态模型继续，桥接模块负责把一侧的含噪状态映射到另一侧。 桥接模块是一个以时间为条件的 U-Net，用重建损失训练，并在映射后按扩散调度器重新注入噪声，以免输出过度平滑、与当前噪声水平不匹配。 在 PolyMNIST 上，最简单的恒等桥接即可在无条件生成中兼顾一致性与质量；在 CelebAMask-HQ 上，去掉可学习桥接后一致性明显下降，而 FID 基本维持在 60 左右。
同一套采样机制还能直接调用大型基础扩散模型，用于交错联合生成、图像编辑和风格耦合与解耦，无需额外联合训练。 在 PIE-Bench++ 上，各方法 FID 与 CLIP 分数相近，差别主要体现在成对一致性上。 在 Flux、SDXL、SD 2.1 和 SD 1.5 四个骨干上，SnB 的成对一致性指标均优于独立生成与共享噪声两种对照。
启示与展望
演示范围覆盖 PolyMNIST 的五模态数字图像、CelebAMask-HQ 的 512×512 人脸与 15 类掩码、PIE-Bench++ 的交错联合生成与编辑，以及 ROCO 上脑、关节和脊柱三个解剖组的零样本 MRI 对比度合成；适合关注多模态生成与扩散模型复用的研究与工程读者。
桥接机制与分叉点的选择需要按模态差距和数据复杂度做经验调参，初始轨迹选哪个模态也会影响结果，例如人脸优先优于掩码优先；方法还假设每个模态都有可用的预训练单模态模型。