同一套比特流扩散协议连跑图像、语音与蛋白：语音文本联合生成词错率3.5%，蛋白折叠级一致率两处口径不一
核心概要
连续比特流扩散把图像、语音和蛋白质都写成二进制码，用同一套训练与采样协议在语音—文本上做到联合生成词错率3.5%，蛋白质生成序列—结构对的折叠级一致率在正文与结论中分别报为75%和69%。
深度剖析
同一套去噪接口现在可以同时处理图像—文本、语音—文本和蛋白质序列—结构三类配对，联合生成与条件生成共用一份权重。 此前的多模态系统要为每种模态配对设计各自的编码器、隐空间、目标函数或预测接口，每加一种配对就多一层需要标定的界面。 在MNIST-Sum上，一个6300万参数模型同时承担三个方向，图像到文本精确匹配97.56%，文本到图像四个数字全对99.95%，从噪声联合生成互相一致99.46%。
每个模态先写成比特，放进一条固定布局的比特流，去噪器只看比特，不看模态身份。 离散符号直接写成二进制码，连续观测先过一个冻结的、按模态选定的分词器，再与文本码放进同一个整数码空间。 语音与文本把文本、说话人和语音码拼成段，词表并集装进18位字；蛋白质每个残基把5个氨基酸比特与13个结构码比特对齐拼接。
训练时随机遮住一部分比特，只对被遮住的比特算损失，观察哪些比特就决定生成哪些比特。 联合生成、单向条件生成和续写不再需要各自的损失或采样流程，只改变被观察的位置集合。 语音—文本模型在LibriTTS与MLS-English上从零训练，联合生成的文本与生成语音自动转写之间词错率3.5%；蛋白质模型在216237对PDB/AFDB-SwissProt数据上从零训练，100个生成对经一次ProteinMPNN重设计与ESMFold重折叠后，正文报告折叠级自洽均值scTM为0.899、折叠级成功率75%、坐标级成功率36%，而结论段报告折叠级一致率69%、scTM约0.9、scRMSD 2 Å口径下41%，两处口径不一致。
启示与展望
这套协议在图像—文本、语音—文本和蛋白质序列—结构三类配对上被验证，去噪器规模从6300万到6.33亿参数，全部从零训练。语音实验使用LibriTTS与MLS-English的有声书朗读数据，蛋白质实验使用216237对PDB/AFDB-SwissProt数据并加入20%序列回放。适合关注跨模态生成接口统一的研究者与工程师阅读；原文提出文本预训练初始化、更大骨干、更广数据和更好的连续模态分词器是同一协议内的后续方向。
语音识别是整体最弱的方向，词级错误以替换为主，作者把这一点与缺少文本预训练联系起来。语音续写难以保持主题内容，说话人复现受StableCodec重建的相似度上限和音频解码器未做说话人条件约束的限制。蛋白质方面，折叠级成功高于坐标级成功，坐标级成功率随序列变长而下降，作者指出这提示几何精度需要专门的蛋白质训练来改进，而生物功能验证不在本工作范围内。蛋白质联合生成的折叠级成功率在正文与结论两处给出不同数值，本报道不在这两个数字之间做取舍。