听到声音就能动起来:Sonic-AMG把反应延迟从10.9秒压到约193毫秒
导语
Sonic-AMG把人体对空间音频的反应生成改成逐块因果生成,在SAM上以FID 6.505、R@1 0.957超过MOSPA的8.242与0.942,并把估计的初始反应延迟从10,857毫秒降到约193毫秒。
正文
人体对声音的反应现在可以边听边生成,不必等整段音频收完再一次性算出整段动作。 此前的方法在预设时间窗内合成完整动作序列,条件是完全观测到的声学与空间输入,因此无法对正在到来的音频流做因果响应。 在SAM数据集上,Sonic-AMG在GT SSL协议下取得FID 6.505、R@1 0.957,优于MOSPA的8.242与0.942;在Online协议下为FID 8.066、R@1 0.943。
模型把声音内容与声源相对身体的位置拆成两路条件,再让因果生成器逐块预测动作。 声学内容用80维log-mel特征经共享因果时序CNN编码,空间侧用11维描述子表示方向、距离及其增量、逆距离、方向变化幅度和逼近程度,两者分别成为what与where token。 消融显示分离token优于融合token(FID 8.714对11.445),学习到的log-mel特征也优于MOSPA的2,272维音频特征(FID 8.714对12.759)。
训练时让模型在自回归自rollout的历史上做监督,并用生成出的根姿态反过来更新空间条件。 两遍前向训练用初次教师强制预测替换部分真值输入,但这些替换仍建立在真值历史上,不递归依赖更早的采样输出。 rehearsal训练在两种SSL协议下都优于各两遍前向调度,Online协议下FID 8.714对最好两遍前向的11.766;只用rollout而无全序列教师强制监督时FID升至17.036。
接下来
报道覆盖的是SAM数据集上的评测:自回归模型接收四帧初始真值动作和反应风格标签,主对比中所有方法都可获得声源位置输入。读者对象是动作生成、具身交互与实时图形方向的研究人员和工程师。作者在附录中提出,后续应建立面向更长音频流和更多样事件转换的动作质量量化基准。
主实验假设推理时已知世界坐标声源位置,No-SSL变体只是空间条件可由双耳音频导出的初步演示,替代空间推断方法的系统评估仍属未来工作。评测仅限SAM,向更广声学环境和人体反应的泛化尚待评估;长时程连贯性与事件转换的证据主要是定性的。
