冻结的通用音频编解码器也能定位声源:AURA在双声源方向准确率上高出专用系统10.31个百分点
AURA把未经空间监督训练的通用音频编解码器X-Codec与冻结的Qwen3-8B语言模型直接对接,用六槽双耳表示和场景监督完成空间问答。此前专用空间系统依赖单独训练的空间编码器,而仅用答案监督的接口在左右方向上只能达到随机水平。在SpatialSoundQA双声源场景中,AURA的方向准确率比最强专用系统DSpAST-BAT†高10.31个百分点,可训练参数约为后者的40%。
AURA把未经空间监督训练的通用音频编解码器X-Codec与冻结的Qwen3-8B语言模型直接对接,用六槽双耳表示和场景监督完成空间问答。此前专用空间系统依赖单独训练的空间编码器,而仅用答案监督的接口在左右方向上只能达到随机水平。在SpatialSoundQA双声源场景中,AURA的方向准确率比最强专用系统DSpAST-BAT†高10.31个百分点,可训练参数约为后者的40%。
手语生成要把书面句子变成连续打手语动作,既要决定表达哪些词,又要还原手形、轨迹和身体配合。此前的姿态生成系统和只做重建的动作分词器把这两件事混在同一套表示里,生成器缺少一个与文本对齐的中间目标。SRVQ用单个残差量化器搭出层级:第一层码本在文本与注释级监督下编码手语内容,后续残差层补足运动细节,再由语义生成器和运动学生成器依次预测。在CSL-Daily与Phoenix-2014T上,完整变体的检索R@1分别为82.31和70.25,比SOKE的51.96和24.14高出30.35和46.11个百分点。
纳米孔测序的原始电流信号连续、没有天然词元,此前多按任务各建专用模型。Brieno 先用残差向量量化把信号压成离散词元,再以掩码词元预测在 1.18 亿条读段上预训练 Transformer,冻结或微调特征即可用于物种识别、条码拆分、碱基识别和甲基化检测。在留出运行上,微调 Brieno 的 CpG 5mC 读段级 AUROC 为 0.978,高于 Dorado 专用 5mCG 模型的 0.975。
已读完全部报道