PEACE 首次实现 DSP 效果器代码与音频的联合嵌入，在混响检索上以 53.5% R@10 超过预训练 AFx-Rep 的 28.3%
相关研究与后续进展
核心概要
该工作提出 PEACE，首个将 Faust 效果器代码与处理后音频映射到同一空间的联合嵌入：音频端沿用 AFx-Rep，代码端分别采用微调 T5 与在 Faust 编译器 Box API 中间表示上运行的消息传递图神经网络 BoxGraph，用 SLAP 的非对比式 BYOL 目标训练；在 20 万训练对、21 种 Faust 效果器、1–3 级串联链上，两种代码编码器在混合长度链检索上大致持平，T5 在单效果器画廊与更长链上略优，BoxGraph 在参数全掩码的链拓扑检索中更强（17.4% 对 12.4% R@1），并在训练中未见的专业插件混响基准上取得 53.5% R@10，高于预训练 AFx-Rep 的 28.3%。
Figure 1 : SLAP architecture. Each modality’s online branch pairs encoder-projector ℰ M \mathcal{E}_{M} (producing y M y_{M} then z M z_{M} ) with predictor 𝒫 M \mathcal{P}_{M} to produce q M q_{M} . The EMA target branch ℰ ¯ M \bar{\mathcal{E}}_{M} produces stop-gradient z ¯ M \bar{z}_{M} with no predictor. The ℒ \mathcal{L} terms show loss gradients flowing through the predictors into the online branches, not the EMA targets.
arXiv深度剖析
PEACE 建立了音频效果器代码与处理后音频之间的首个联合嵌入空间，使音频查询可以按余弦相似度检索生成它的 Faust 程序，反之亦然。 此前工作要么依赖自然语言描述、要么做参数回归或固定标签分类，都不提供可在程序之间比较的相似度度量；PEACE 把代码模态作为检索目标，同时编码程序结构与参数值。 在 20 万训练、8,192 验证、4,096 测试音频-代码对上训练，跨模态检索在 1–3 级链画廊上报告 Recall@1/@10 与归一化排名，并配合模态间隔距离与模态/音源可分性探针。
两种代码编码器各有侧重：微调 T5 在单效果器画廊平均略优并在超出训练分布的更长链上退化更慢，BoxGraph 在约一半效果器类型上取胜，并在参数全掩码的链拓扑检索中明显更强。 论文把代码编码器的选择从单一方案变成可比较的两种设计，并显示参数掩码可以让嵌入只表达效果器选择与顺序，而不依赖监督分类器。 单效果器 R@10 上 BoxGraph 在 21 种效果器中赢 11 种，T5 在 Chorus、Delay、Flanger、Phaser、ReverseEcho 及五种混响中的三种领先；链检索中 AFx-Rep-BoxGraph 达 17.4% R@1、61.4% R@10，T5 为 12.4% 与 43.2%。
跨模态 SLAP 训练能提升音频端的帧内理解：在来自四个专业混响插件、训练中未见的 1,831 条房间冲激响应检索基准上，PEACE 从头训练的 BoxGraph 达到 53.5% R@10，远高于预训练 AFx-Rep 的 28.3%、Fx-Encoder++ 的 11.6% 与 LAION-CLAP 的 10.7%。 这显示联合嵌入训练不只是对齐两种模态，还能反过来改善音频表示本身，并且用冻结的 AFx-Rep 潜变量加 BoxGraph 也能把 R@10 从 28.7% 提升到 38.6%。 基准使用 1,831 条 ReverbFX 立体声 RIR 与 250 条 jaCappella 人声轨，任务是从 1,831 个候选中找出同一 RIR；PEACE 同时报告潜变量与预测器输出，预测器始终优于潜变量。
效果器类型间的检索差异给出了音频编码器与数据改进的具体方向：基于时间的混响与延迟表现最好，压缩器、失真等非线性与动态类效果器较弱，声像类效果器受限于中/侧频谱无法区分左右。 论文把整体指标拆解到 21 种效果器，指出哪些效果器对当前音频前端构成结构性困难，而不是只报告一个平均分。 单效果器 R@10 中 ReverbFreeverb 达 84.5%（BoxGraph），而 Gate 仅 2.7%、Limiter 2.8%、StereoWidth 0.9%；论文解释 Limiter 与 Gate 对某些输入可能不改变音频，StereoWidth 对单声道输入无效。
启示与展望
该结果面向使用 Faust 编写的软件音频效果器与 1–3 级串联链，训练数据为随机采样的参数预设与随机配对的干音频，评测画廊规模从 21 种单效果器到 420 个有序效果器对。它使音频查询可以检索效果器链拓扑、使代码查询可以检索音频，并为风格迁移、干声恢复与 DSP 代码生成提供目标空间；论文还设想用链检索替换现有流程中的 DNN 效果器分类器，再把候选交给 CMA-ES 做参数搜索。适用场景是音乐制作与音频效果器分析，而非实时插件处理或人耳主观评价。
论文自述训练管线存在模拟到真实的差距：参数为随机采样而非人工调校、预设与源音频随机配对、源音频并非总是完全干燥；域外评测只覆盖混响而非更广的插件效果器，且没有用户研究。单效果器检索的方差较大，哪些效果器能从时域编码器或更好的数据中受益仍是开放问题。此外，BoxGraph 目前只使用 par 与 seq 两种组合算子，split、merge 与 recurse 留待后续，扩展到模块合成（包络、LFO）后的表现尚不清楚。