多模态量化不再让文本压过视觉：共享变换把两路梯度拧成一个方向，W4A6下32B模型平均66.51
核心概要
多模态大模型做低比特量化时，文本与视觉令牌要在同一个通道变换上学习，两路梯度方向相反或量级悬殊，会互相拖累。MCTQ把重建目标按模态拆开，再用最小范数凸组合把两路梯度合成一个更新方向，全程只保留一个共享变换、不增加推理开销。在Qwen2.5-VL-7B的W4A6设置下平均准确率66.26，比OmniQuant高1.30分；Qwen2.5-VL-32B同设置下为66.51。
深度剖析
多模态大模型的训练后量化多了一步：文本令牌和视觉令牌共用同一个通道级变换，而这两类令牌对通道缩放的要求并不一致。 此前的通道级量化方法要么用激活统计量定死缩放，要么直接优化一个混合重建损失，把两种模态的梯度先加在一起再看是否相容。 在共享变换参数上分别计算文本与视觉的重建梯度后，不少采样点落在余弦相似度为负的区域，或出现很大的梯度范数比；逐层直方图显示这种模式跨层、跨变换类型出现。
做法是把一个混合目标拆成文本、视觉两个重建目标，再在梯度层面把两者合成一个更新方向。 合成方式取两梯度的最小范数凸组合，权重由闭式解给出并截断到0到1之间，因此方向冲突时取折中方向，量级悬殊时自动压低较大的那一路。 在Qwen2.5-VL-7B的W4A6设置下，只缩放文本侧梯度、把文本与视觉梯度范数比的中位数调到0.85时平均准确率最高，为70.76；偏向任一模态都会下降。
整个流程仍只学一个共享变换，并把它折叠进量化权重，推理时不增加模态专属参数或分支。 作为对照，给每个模态单独一套变换可以避开冲突，但要额外参数和推理开销。 在单张A100-80G上以W4A8测量，预填充长度1024、批大小1时相对FP16提速1.31倍、峰值显存降至10.69 GB；批大小4、长度2048时提速1.33倍、显存节省1.10倍。
启示与展望
验证范围是Qwen2.5-VL-7B、Qwen2.5-VL-32B与LLaVA-OneVision-1.5-8B三个视觉语言模型，主设置为W4A6，另报W4A8与Qwen2.5-VL-7B的W8A8，评测用OCRBench、SEEDBench、MMMU、VizWiz、ScienceQA、TextVQA六个基准，校准数据为COCO val2017的128组图文对。效率数据在单张A100-80G上以W4A8测得。
W4A4压力测试下MCTQ把平均准确率从最好基线的6.30提到19.40，但与FP16的68.00仍有很大差距，作者把这一档视为压力测试而非可直接部署的设置。方法目前只处理文本与视觉两种模态，扩展到语音等全模态时可能遇到更高阶的梯度冲突。重建轮次从30增到50会出现轻微过拟合，校准集在16到512样本间平均准确率波动在0.9分以内。