ATR 用单调对齐加 LLM 推理做配音唇形同步评判，七语言平均 AUC 达 0.920

论文指出并测量了一个结构性缺口：现有自回归视觉语音识别模型和视频语言模型在候选文本固定、只扰动视频时序时判断接近随机水平。 此前工作多把唇形同步当作转写或音视频同步问题，而这里把它定义为无参考的候选文本—静音视频匹配问题，并单独构造内容与时间两类负样本加以测量。 在七语言基准的七类扰动上报告 pooled AUC；Qwen3.5 从 2B 到 9B 的 SFT 基线在 reverse、shift、freeze、swap 四个时间轴上 AUC 处于 0.510–0.520 区间。

ATR 把时间跟踪与语义判断解耦：候选相关的 CTC 对齐打分器输出逐音素软 token 和校准后的全局标量，LLM 推理器在此基础上给出 Yes/No 判断和指出最弱单元位置的简短解释。 与直接让视频语言模型从视频推断时序不同，这里用单调 CTC 结构把顺序直接编码进打分，并用连续前缀表示把局部对齐证据注入语言模型。 消融显示去掉校准标量后平均 AUC 从 0.920 降到 0.672，reverse、shift、swap 接近随机；去掉软 token 降到 0.872；去掉 LLM 推理器降到 0.856；去掉音素辅助监督降到 0.898。

在七语言基准上，ATR 在 Qwen3.5、LLaMA-3.1-8B 和 Mistral-7B 三类推理器上均保持高平均 AUC，并优于所比较的前沿模型与唇读基线。 增益不依赖单一 LLM 家族，且在多随机种子下方差较低，说明该接口具有跨架构的可迁移性。 ATR（Qwen3.5-9B）平均 AUC 0.920，LLaMA-3.1-8B 为 0.890，Mistral-7B 为 0.894；配对准确率表中 ATR 各变体均超过 0.9，而前沿模型在时间扰动上平均在 0.656–0.737 区间。

对齐信号可迁移到未见语言和真实配音流程：在 MuAViC 的德语、阿拉伯语、俄语上仅重拟合两个标量归一化参数即恢复时间敏感性，并在配音行重排与脚本—片段匹配两个下游任务上超过唇读基线。 跨数据集评估不更新模型参数，只做两参数重校准；下游任务使用真实专业配音行而非合成扰动。 重校准后 ATR-9B 在 MuAViC 上平均 AUC 0.875，高于 Qwen3.5-9B Base 的 0.514 和 Auto-AVSR 的 0.578；配音行重排 Top-1 0.479 对最强唇读基线 0.316，脚本—片段匹配域内 per-clip 0.746、Exact Block 0.522，MuAViC 二选一 0.704 对 Auto-AVSR 0.598。

该结果面向配音审阅场景：推理时只有静音视频与候选文本，没有参考音频或参考转写，评判器输出 Yes/No 对数差作为唇形同步分数。它适用于需要跨语言复用同一评判器的制作流程，例如在语音合成前筛选或重排候选行，以及把脚本行与片段对应起来。跨数据集使用时，论文给出的做法是在目标语言 300 条真实样本上只重拟合两个标量归一化参数，不更新模型参数，因此该接口在域偏移下仍可低成本部署。

论文报告的是七语言基准与 MuAViC 上的 AUC 与配对准确率，未给出真实制作环境中人工审阅成本或误判代价的测量。跨域时原始标量分布会偏移，需要目标语言真实样本做两参数重校准，这一步骤在完全没有目标语言真实样本时如何表现仍是开放问题。下游任务中配音行重排的候选由 LLM 生成且长度受约束，脚本—片段匹配的域内设置为五选一，这些设定与更大规模或更长片段的制作流程之间的差异值得进一步观察。此外，推理器目前用监督微调训练，论文把强化学习列为自然的下一步。