全模态模型听错看错不必重训：推理时把融合表示拨回相关模态，CMM 总体准确率从70.5%升到85.9%

全模态大模型在音视频互相干扰时给出的联合预测会出错，但问题真正需要的那一路单模态分支常常仍能给出正确答案，这种可恢复的错配被称作模态误路由。 此前的推理时缓解方法主要压制幻觉输出或重新校准各模态权重，较少针对证据仍在、只是没进入联合预测的情形。 在 CMM 的视觉主导与音频主导子集以及 AVHBench 的两个跨模态幻觉任务上，对每个错误的联合预测扣掉竞争模态后，相关单模态分支的恢复率在 CMM 为52.9%至74.4%，在 AVHBench 为37.3%至46.2%。

CaRe 只在联合预测与候选单模态分支出现硬冲突时才动手，把融合表示朝该分支的方向推，同时保留音频和视频两路输入。 它不切换成单模态输出，而是用反事实分支与融合表示之差作为残差方向，按反事实置信度决定干预强弱，并让干预强度随解码层加深而衰减。 在 Qwen2.5-Omni-3B/7B 与 MiniCPM-o-2.6 上，CMM 总体准确率分别达到82.5%、85.9%和86.9%，AVHBench 总体准确率分别为81.0%、82.3%和80.2%，均高于未修改骨干与 VCD、ICT、AVCD、MAD 四个推理时基线。

该方法面向离散、可打分的答案空间，适用于任务已给出候选答案、且问题相关证据仍能从单模态分支取回的音视频问答场景；在 CMM 与 AVHBench 上，它作用于 Qwen2.5-Omni-3B/7B 和 MiniCPM-o-2.6 的最后三层解码器，只修改预填充阶段最后一个提示词位置的隐状态，生成阶段不再干预。作者提出后续可探索更软的冲突信号、面向开放式生成的更通用路由准则，以及更高效的单次前向实现。

作者指出，当相关证据编码较弱、模态误路由没有表现为显式预测冲突，或任务不提供易于打分的候选答案空间时，该方法可能效果有限；文本路由探针与反事实分支还会带来额外推理开销。路由信号对提示措辞和选项顺序存在模型相关的敏感性，96 种配置中 85 种达到至少95%一致率，默认配置为99.5%至100%。