多模态预训练不再靠试错：268次实验给出文本、视觉、音频的数据配比规律
核心概要
一项覆盖文本、视觉、音频三种模态的混合专家预训练研究，用268次实验拟合出数据配比规律，并给出可操作的分配结论：音频更该把算力花在参数上，视觉和音频数据重复超过两遍收益很小，视觉对音频的干扰最强。
深度剖析
多模态预训练的数据配比第一次有了可外推的定量规律，而不是靠逐次试错。 此前公开的缩放配方多针对单一模态或双模态，缺少同时处理文本、视觉、音频、且考虑数据重复与数据不均衡的统一框架。 规律在三个未参与拟合的留出训练上检验，九个模态级预测中有八个与实测验证损失的相对误差在2.6%以内，六个在1.1%以内，相关系数为0.9。
规律把每个模态的验证损失拆成不可约损失、有效参数、有效数据三部分，其中有效参数随非目标模态的数据占比指数衰减，有效数据则同时扣除重复带来的收益递减并计入跨模态迁移。 标准Chinchilla形式只把损失写成参数量与词元数的幂律，无法表达模态之间的相互帮助或干扰。 拟合实验使用混合专家模型，参数量从457M到8.3B，单次训练最多150B词元，总计约30万GH200小时。
跨模态影响是不对称的：视觉对音频的干扰最强，文本与视觉互相负干扰，而音频对文本和视觉的迁移系数在留一尺度检验中标准差超过均值，被视为近乎惰性。 此前的双模态交互规律假设迁移是对称的，且只处理均衡配比。 在目标模态占训练词元95%的配比下，有效参数保留率文本约为0.95、视觉约为0.90、音频仅约为0.75。
启示与展望
这套规律面向原生多模态混合专家预训练，用于在给定算力与数据预算下比较不同模态配比，并已在三个留出训练上检验：一个12.6B-A3.8B从零训练、两个8.3B-A2.6B持续预训练。作者明确把后续工作指向更大规模（百B级激活参数、万亿级词元）、更多模态如长视频，以及音频为何干扰很小的机理分析。
作者说明，拟合系数依赖分词器选择、下一词元预测目标、混合专家结构超参数与数据质量，因此结果应视为拟合具体场景缩放律的框架，而非规定精确配方的通用定律；音频对文本和视觉的迁移系数在留一尺度与随机子集重拟合中标准差超过均值，符号也不稳定。双向容量共享建模未稳定改善外推，非文本为主的持续预训练中文本损失误差偏大，作者推测更长训练会让文本损失稳定下来。