# MCTQ模态协同变换量化

多模态大模型做低比特量化时，文本与视觉令牌要在同一个通道变换上学习，两路梯度方向相反或量级悬殊，会互相拖累。MCTQ把重建目标按模态拆开，再用最小范数凸组合把两路梯度合成一个更新方向，全程只保留一个共享变换、不增加推理开销。在Qwen2.5-VL-7B的W4A6设置下平均准确率66.26，比OmniQuant高1.30分；Qwen2.5-VL-32B同设置下为66.51。

多模态大模型做低比特量化时，文本与视觉令牌要在同一个通道变换上学习，两路梯度方向相反或量级悬殊，会互相拖累。MCTQ把重建目标按模态拆开，再用最小范数凸组合把两路梯度合成一个更新方向，全程只保留一个共享变换、不增加推理开销。在Qwen2.5-VL-7B的W4A6设置下平均准确率66.26，比OmniQuant高1.30分；Qwen2.5-VL-32B同设置下为66.51。