ATR 用单调对齐加 LLM 推理做配音唇形同步评判，七语言平均 AUC 达 0.920
该工作提出 Align Then Reason（ATR），先用候选文本音素与帧级唇部表征之间的单调 CTC 对齐打分器提供逐音素软 token 与校准后的全局对齐分数，再由 LLM 推理器输出 Yes/No 判断与简短解释，在七语言基准上把 Qwen3.5-9B 的平均 AUC 从 0.610 提升到 0.920，并在三个未见 MuAViC 语言和两个真实配音下游任务上取得提升。
该工作提出 Align Then Reason（ATR），先用候选文本音素与帧级唇部表征之间的单调 CTC 对齐打分器提供逐音素软 token 与校准后的全局对齐分数，再由 LLM 推理器输出 Yes/No 判断与简短解释，在七语言基准上把 Qwen3.5-9B 的平均 AUC 从 0.610 提升到 0.920，并在三个未见 MuAViC 语言和两个真实配音下游任务上取得提升。
已读完全部报道