全模态模型听错看错不必重训：推理时把融合表示拨回相关模态，CMM 总体准确率从70.5%升到85.9%
全模态大模型在音视频互相干扰时会答错，但被干扰的那一路单模态分支往往还留着正确答案；一种免训练推理时干预在冲突样本上把融合表示拨回该分支，CMM 总体准确率从70.5%升到85.9%。
SECRET 在问题中继处拦截跨模态干扰，使音视频大模型在 CMM 上最高提升 18.0 个百分点
该工作通过路径干预与表征分析发现音视频大语言模型存在“问题中继”机制——问题位置的隐状态同时承载所需模态证据与干扰模态线索，据此提出免训练方法 SECRET，用源条件化的正负问题表征对比来引导问题状态偏向所需模态证据，在 CMM 与 AVHBench 两个基准、三个音视频大模型上均取得优于既有免训练方法的准确率，最高较基座模型提升 18.0 和 7.1 个百分点，并在模态特定描述任务上降低干扰项重叠。
已读完全部报道