跳到主要内容
检索

Yu Zhang

1 篇关联报道

订阅更新
  1. arXiv

    SECRET 在问题中继处拦截跨模态干扰,使音视频大模型在 CMM 上最高提升 18.0 个百分点

    该工作通过路径干预与表征分析发现音视频大语言模型存在“问题中继”机制——问题位置的隐状态同时承载所需模态证据与干扰模态线索,据此提出免训练方法 SECRET,用源条件化的正负问题表征对比来引导问题状态偏向所需模态证据,在 CMM 与 AVHBench 两个基准、三个音视频大模型上均取得优于既有免训练方法的准确率,最高较基座模型提升 18.0 和 7.1 个百分点,并在模态特定描述任务上降低干扰项重叠。

已读完全部报道