音视频联合生成不再让音频拖后腿：OmniOPD给音频教师更干净的视觉条件稳住蒸馏
联合音视频生成中，音频token远少于视频，监督稀疏导致蒸馏不稳，简单加大音频损失权重反而更糟。OmniOPD让音频教师在更干净的视觉条件下生成目标、对每个提示采样多条轨迹、并按教师与学生转移差异给每个时间步加权，在JavisBench上把视频质量VQ从LTX-2.3的2.714提到3.347，同时音频质量AQ为5.449，低于音频教师的5.576。
联合音视频生成中，音频token远少于视频，监督稀疏导致蒸馏不稳，简单加大音频损失权重反而更糟。OmniOPD让音频教师在更干净的视觉条件下生成目标、对每个提示采样多条轨迹、并按教师与学生转移差异给每个时间步加权，在JavisBench上把视频质量VQ从LTX-2.3的2.714提到3.347，同时音频质量AQ为5.449，低于音频教师的5.576。
已读完全部报道