跳到主要内容

# 视听大语言模型

2 篇关联报道

arXiv 2026年10月5日
RED 免训练解码方法在三个音视频幻觉基准上把准确率最高提升 7%，首 token 时间约为标准解码的 1.5 倍
该工作提出免训练的 Relevant Evidence Decoding（RED），用逐点互信息把音视频联合预测拆分为音频、视频与残差交互三部分，并通过仅问题推理判断所需证据类型后只增强对应贡献；在三个音视频幻觉基准与三个 AV-LLM 上，RED 相对标准解码最高提升 CMM 7%、AVHBench 6.3%、SVHalluc 3.8%，平均首 token 时间约为标准解码的 1.5 倍。
该工作提出免训练的 Relevant Evidence Decoding（RED），用逐点互信息把音视频联合预测拆分为音频、视频与残差交互三部分，并通过仅问题推理判断所需证据类型后只增强对应贡献；在三个音视频幻觉基准与三个 AV-LLM 上，RED 相对标准解码最高提升 CMM 7%、AVHBench 6.3%、SVHalluc 3.8%，平均首 token 时间约为标准解码的 1.5 倍。
Daegu Gyeongbuk Institute of Science and Technology Sungkyunkwan University
Hyunjae Ra（第一作者）
相关证据解码视听大语言模型幻觉缓解
arXiv 2026年10月2日
SECRET 在问题中继处拦截跨模态干扰，使音视频大模型在 CMM 上最高提升 18.0 个百分点
该工作通过路径干预与表征分析发现音视频大语言模型存在“问题中继”机制——问题位置的隐状态同时承载所需模态证据与干扰模态线索，据此提出免训练方法 SECRET，用源条件化的正负问题表征对比来引导问题状态偏向所需模态证据，在 CMM 与 AVHBench 两个基准、三个音视频大模型上均取得优于既有免训练方法的准确率，最高较基座模型提升 18.0 和 7.1 个百分点，并在模态特定描述任务上降低干扰项重叠。
该工作通过路径干预与表征分析发现音视频大语言模型存在“问题中继”机制——问题位置的隐状态同时承载所需模态证据与干扰模态线索，据此提出免训练方法 SECRET，用源条件化的正负问题表征对比来引导问题状态偏向所需模态证据，在 CMM 与 AVHBench 两个基准、三个音视频大模型上均取得优于既有免训练方法的准确率，最高较基座模型提升 18.0 和 7.1 个百分点，并在模态特定描述任务上降低干扰项重叠。
Fudan University Harbin Institute of Technology
Yu Zhang（第一作者）
Secret（源条件中继转向）来源混淆的接地幻觉视听大语言模型 AVHBench

已读完全部报道