跳到主要内容
返回时间线
arXiv来源发表:

语音翻译不再只搬字面:把西语的语气先投到英语表达空间,再喂给冻结的语音生成器

核心概要

西班牙语到英语的双向语音翻译里,PACT把源语的语气线索先映射到目标语言的表达空间,再作为连续提示送进冻结的语音生成器,在内容、音色和表达三类指标上同时取得所评估系统中的最好整体表现。

Source-provided article image: PACT: A Pragmatic Prompting Framework for Expressive and Voice-Preserving Speech-to-Speech Translation
Fig. 1 · arXiv

深度剖析

语音到语音翻译现在多了一条独立的表达控制通道:语义、说话人音色和话语级表达被拆成三条通道,只在合成时汇合。 此前的端到端系统、语音多模态大模型和级联式音色克隆系统能保住内容或音色,却缺少一个显式机制来说明源语的表达在目标语言里应当如何实现。 在双向西班牙语—英语 TOPI 基准上,PACT 在 ASR-BLEU、语用相似度和目标参照说话人相似度三项主要指标上于两个翻译方向都领先于所评估的端到端、多模态大模型和级联基线。

做法是先把源语的语用线索变成目标语言的表达向量,再把它变成冻结生成器能读的连续提示。 直接注入源语语用向量并不合适,因为所选 HuBERT 维度是分语言的,源语向量与目标语表达空间不对齐。 跨语言投影器用 DRAL 训练集上的成对语用向量拟合,采用偏最小二乘投影;目标语均值与目标侧实现子空间也只从训练集估计,评估集不参与拟合。

投影后的向量还要经过一次保守的实现校准,才被轻量适配器转成软提示。 投影向量中仍可能含有冻结生成器难以可靠实现的方向,直接使用会超出目标语表达流形。 校准把残差限制在目标侧偏最小二乘子空间内,子空间维度和收缩系数在开发集上选定后固定;西班牙语到英语启用校准,英语到西班牙语则依据开发集表现关闭校准。

启示与展望

报道覆盖的是双向西班牙语—英语 TOPI 基准上的评估,以及西班牙语到英语方向 10 条样本、五名英语熟练评分者的主观评测。适用读者是研究表达性语音翻译、跨语言韵律与语用迁移的工程师和研究者,方法本身只训练跨语言投影器、实现校准统计和轻量适配器,语音生成器全程冻结。

英语到西班牙语方向关闭了实现校准,因为西班牙语目标适配器只在 DRAL 上训练、缺少大规模西班牙语表达性预训练,校准可能过度约束目标空间提示表示。主观评测只覆盖西班牙语到英语方向,且自然度与表达保持并非同一目标:Qwen3.5-Omni-Plus 的自然度主观分最高,但在目标参照说话人相似度和语用表达上明显更弱。