跳到主要内容
返回时间线
arXiv来源发表:

音乐生成不再只追通用好听:把听歌史蒸馏成审美画像,同一首歌更贴本人

核心概要

PAG-Agent把用户喜爱的歌曲与背景信息蒸馏成一份显式的个人审美画像,再交给规划模型转成生成指令,在Personal-100上比直接条件化把目标用户一致性提高约9%到19%。

Source-provided article image: PAG-Agent: Zero-Shot Personalized Music Album Generation via Aesthetic Profile Distillation
Figure 1 · arXiv

深度剖析

个性化音乐生成现在可以先推断听众偏好,再控制音乐合成,而不是只优化人群层面的音质或显式提示词。 此前的系统主要优化人群层面的质量或显式可控性,个性化偏好对齐仍未被充分探索;同一首歌可以满足通用质量指标,却与收到它的人并不匹配。 在Personal-100上,跨四种骨干配置(更换生成用多模态大模型、评估用多模态大模型和音乐生成器),PAG-Agent相对Direct把ACS提高约9%到19%,把ASI提高27%到29%;相对Random,ACS提高约33%到37%,ASI提高46%到54%。

做法是把偏好推断与音乐实现分开:先得到一份显式的个人审美画像,再把它翻译成面向生成器的控制。 画像由多模态大模型把喜爱歌曲的音频与年龄、职业、MBTI、文化背景、社交活跃度等上下文信息蒸馏成JSON表示,包含审美摘要、核心风格属性和负面约束;规划大模型再把这份画像转成情绪、人声形式、流派、配器和风格等曲目级控制。 评估在Personal-100上进行,主实验用100位来自多个国家和职业的参与者,消融用Personal-25子集;音乐由Suno-V5或ACE-Step生成,另有50名参与者的后续人工评价。

个性化是否成功,被拆成与目标听众一致和相对其他听众特异两件事。 通用音频质量指标无法直接刻画个体偏好对齐,因此PA-Eval用审美一致性分数ACS衡量与目标用户审美参照的对齐,用审美特异性指数ASI把这种对齐与跨用户匹配作对比,当同一内容也与其他用户高度对齐时降低得分。 在六维审美空间(情绪效价、能量与唤醒、音色复杂度、音乐素养、新颖性、文化与风格反叛)上,各维度参照分与生成分均正相关,相关系数在0.69到0.76之间,平均0.74。

启示与展望

这项工作面向希望把生成音乐对齐到具体听众的研究者与工程团队,验证范围是Personal-100的100位参与者、Suno-V5与ACE-Step两种生成器,以及50人的人工评价。画像与生成器解耦,因此同一份个人审美画像可以配合不同音乐生成器使用而无需重训练。

人工评价中三种方法的音乐性均值接近,主观偏好从Random的3.68、Direct的4.12升到PAG-Agent的4.76;ACS与主观偏好正相关,但与音乐性只有弱相关。消融显示单独使用歌曲或画像都低于两者结合,加入稀疏画像把ACS从0.60提到0.68、ASI从0.42提到0.54,完整画像达到0.74和0.62。各审美维度上表现不均,能量与唤醒、文化与风格反叛的ACS最高为0.79,音乐素养最低,ACS与ASI分别为0.60和0.39。