将mDPO偏好学习扩展到音频域:Qwen2-Audio在DCASE 2025与AH Existence上分别提升14.0与27.4个百分点
该工作把面向视觉语言模型的多模态直接偏好优化(mDPO)迁移到音频域,用反转、随机噪声、时频掩蔽等声学扰动构造“完好音频对扰动音频”的偏好对,在Qwen2-Audio-7B-Instruct上训练,使DCASE 2025音频问答整体准确率由56.0%升至70.0%,AH Existence由55.6%升至83.0%。
该工作把面向视觉语言模型的多模态直接偏好优化(mDPO)迁移到音频域,用反转、随机噪声、时频掩蔽等声学扰动构造“完好音频对扰动音频”的偏好对,在Qwen2-Audio-7B-Instruct上训练,使DCASE 2025音频问答整体准确率由56.0%升至70.0%,AH Existence由55.6%升至83.0%。
已读完全部报道