新媒艺术生成不再只靠人评偏好:CART规则注入扩散采样,FID降至29.56
核心概要
新媒艺术生成中,用户偏好数据采集成本高、扩散采样又缺少可解释引导。CART规则引导扩散模型先用条件GAN把2000条真实评分扩成1万个虚拟智能体、50万条偏好记录,再把CART决策树规则转成可微梯度注入Stable Diffusion 1.5的反向采样。在五个基线对照下,该模型取得FID 29.56、偏好准确率0.734、Hit Rate@3 0.512,分别比最强基线RF-AIGC改善13.8%、9.4%和19.6%。
深度剖析
新媒艺术生成把用户偏好从生成后的筛选条件搬进了扩散采样的每一步,让规则在去噪过程中实时起作用。 此前的AIGC系统多把偏好规则用于生成后的过滤,偏好模型也通常依赖小规模、昂贵的人工评分数据。 在测试集上,该模型FID为29.56、偏好准确率0.734、Hit Rate@3为0.512,相对最强基线RF-AIGC分别改善13.8%、9.4%和19.6%,IS与CLIP分数也分别提高3.9%和7.5%。
偏好信号来自一个条件GAN合成的虚拟用户池,而不是直接采集新的人工评分。 条件GAN以2000条真实用户种子数据训练500轮,生成1万个虚拟智能体和50万条偏好记录,其DKL为0.042、MMD为0.008、Fréchet距离偏差6.3%,均低于预设阈值。 CART回归树在这些合成偏好上训练,叶节点规则经sigmoid平滑成可微的违反度,再以权重0.15的梯度信号每K步注入Stable Diffusion 1.5的反向采样,骨干网络保持冻结。
闭环反馈协调器冻结树结构,只按每轮智能体评分的偏差调整叶节点权重与置信度。 去掉闭环后FID为31.42、偏好准确率为0.693,低于完整模型的29.56和0.734。 闭环前五轮FID依次为34.2、31.8、30.5、29.8和29.6,第五轮后逐轮改善率低于1%;规则评估频率K=5时FID 29.96、延迟4.3秒,比K=1快31.7%。
启示与展望
全部指标在1万个虚拟智能体构成的用户池上测得,输出为256×256图像,扩散骨干与CART结构均保持冻结;作者已设计预注册的两阶段真人验证,第一阶段实验室内约60人,第二阶段跨文化在线约600人。
合成数据虽在四项分布指标上与种子数据吻合,但按设计无法编码情感共鸣、文化语境、自传记忆和疲劳效应等更高阶审美因素;作者指出报告增益可能偏乐观,引入真人评分后基线排序也可能变化。
