# 多模态生成

多模态生成此前多依赖从零联合训练一个共享隐变量，难以扩展到高分辨率图像。SnB 改为在采样时耦合各自预训练的单模态扩散模型：先共享一段反向扩散轨迹，在分叉点经桥接模块转入各模态分支。在 CelebAMask-HQ 上，SnB 在全部共享比例设置下取得最低 FID，同时保持较强一致性；在 PolyMNIST 上则与自上而下方法互有胜负。

多模态生成此前多依赖从零联合训练一个共享隐变量，难以扩展到高分辨率图像。SnB 改为在采样时耦合各自预训练的单模态扩散模型：先共享一段反向扩散轨迹，在分叉点经桥接模块转入各模态分支。在 CelebAMask-HQ 上，SnB 在全部共享比例设置下取得最低 FID，同时保持较强一致性；在 PolyMNIST 上则与自上而下方法互有胜负。

连续比特流扩散把图像、语音和蛋白质都写成二进制码，用同一套训练与采样协议在语音—文本上做到联合生成词错率3.5%，蛋白质生成序列—结构对的折叠级一致率在正文与结论中分别报为75%和69%。

连续比特流扩散把图像、语音和蛋白质都写成二进制码，用同一套训练与采样协议在语音—文本上做到联合生成词错率3.5%，蛋白质生成序列—结构对的折叠级一致率在正文与结论中分别报为75%和69%。