音频扩散模型直接吃fMRI信号:跳过中间嵌入,重建声学与语义指标同时改善
MAAS把预训练音频扩散Transformer的条件输入从文本嵌入换成按脑区划分的fMRI响应,不再先训练一个解码器去预测CLAP或YamNet等外部刺激表示。在7T fMRI数据上,它与两阶段fMRI到潜变量条件化等基线相比,在CLAP相似度、成对识别准确率和Mel-SSIM等声学与语义指标上均取得一致改善。该框架还借助以听觉皮层计算模型为基础的保真度指标,量化各听觉皮层区域对重建音频的贡献。
MAAS把预训练音频扩散Transformer的条件输入从文本嵌入换成按脑区划分的fMRI响应,不再先训练一个解码器去预测CLAP或YamNet等外部刺激表示。在7T fMRI数据上,它与两阶段fMRI到潜变量条件化等基线相比,在CLAP相似度、成对识别准确率和Mel-SSIM等声学与语义指标上均取得一致改善。该框架还借助以听觉皮层计算模型为基础的保真度指标,量化各听觉皮层区域对重建音频的贡献。
训练无关的扩散缓存把精确计算花在更该花的位置:用探针输出变化除以输入位移来在线判断风险,在FLUX.1-dev、Wan2.1与Open-Sora 1.2上以相同精确计算预算降低中位LPIPS。
从零训练的对照实验显示,给DiT加上长跳连接后,中间层特征在语义对应、分割与深度任务上全面变好,即使把生成能力对齐到相同FID也仍然更好。
在FLUX.1、Z-Image与Infinity-2B三类文生图Transformer上,注意力汇的位置随架构而变:自回归模型把注意力压在首个全局token上,双向扩散模型则集中在模态边界、文本区域和图像角落。
作者在解耦扩散 Transformer(DDT)的条件编码器中移除 Self-Attention 与 MLP 周围的残差连接,改用零初始化输出门与混合正交注意力初始化保证训练稳定,并把输入 patch 嵌入与各编码器块输出聚合为编码器输出;在 ImageNet-1k、分辨率、patch size 2、80 epoch、batch 1024 的设定下,DDT-RFE 在图像分类、语义分割、物体发现、语义对应四类视觉理解任务上整体优于 DDT,且编码器块数更少(L 尺度 12 对 20,XL 尺度 14 对 22),ImageNet 生成 FID 从 8.98 降至 7.68(L)和从 7.27 降至 6.81(XL)。
该工作提出 FADE,一个面向文生视频扩散 Transformer 的多概念遗忘框架:先用联合闭式键/值编辑抑制全部目标概念,再为每个概念训练由帧索引与去噪时间步门控的帧感知低秩适配器以消除逐帧残留泄漏,并用基于相似度的软路由按提示组合适配器;在单个 Wan2.1-T2V-1.3B 上同时擦除 16 个概念(物体、艺术风格与裸露)时,物体基准残留准确率降至 4.9%(八个基线中最强者为 15.5%),VBench 平均与未编辑模型相差 0.9% 以内,且该排序在 VLM 评判与盲测人工研究中保持一致。
该工作提出异构精炼(heterogeneous refinement),让像素空间扩散 Transformer 中不同特征组在网络深度上获得不同的精炼预算,从而自发形成“持久特征”(编码全局结构)与“活跃特征”(编码高频细节)的分工,并据此提出 Persistence Forcing(PerF)与 Persistence Guidance(PG),在 ImageNet 256 上将 JiT-B/L/H 的 FID 分别从 3.66、2.36、1.86 降至 2.81、1.91、1.63,在 ImageNet 512 上将 JiT-H/32 的 FID 从 1.94 降至 1.76。
Adobe Research与KAIST的研究者提出FlowTool,用条件整流流(conditional rectified flow)直接建模图像与指令条件下的高质量修图工具参数分布,以视觉语言模型骨干加DiT参数生成器和工具存在性预测头替代自回归MLLM的推理与逐token数值生成,在MMArt-Bench、FlowTool-Eval、ArtEdit-Bench和MIT-Adobe5K上参考指标优于专用MLLM编辑智能体与专有MLLM,并在无参考评测中与专有模型相当,同时把推理延迟降低至少50倍、峰值显存降低近2倍。
该工作系统分析了扩散 Transformer 内部表征,发现模型偏好复用早期层特征并倾向对称层配对,据此提出把残差连接从被动求和改为主动检索的结构化连接设计:将 DiT 沿深度均分为编码器与解码器两阶段,把编码器侧表征作为可微残差源,每个解码器子层通过轻量 softmax 路由选择其镜像对应的编码器源进行自适应融合;在 ImageNet 类条件生成上,该方法以不到 0.1% 的额外参数让 DiT-S/2、DiT-B/2、DiT-XL/2 的 FID 分别从 69.81、44.21、18.85 降至 62.48、36.33、15.07,并把强基线 REPA-XL/2 从 5.9 降至 4.34(无引导),加分类器无关引导后达到 1.39 FI
该工作提出 FuseReg,把表征自编码器(RAE)中层融合的选择从固定启发式改为训练时对编码器层随机子集采样:在 ImageNet-256 与冻结 DINOv3-L 上,一个 FuseReg 解码器无需重训即可从完整、稀疏和单层融合重建,PSNR 高于专用于固定融合的解码器;仅替换解码器(RAEv2 DiT-XL 生成器不变)即降低无引导 gFID,联合正则化解码器与生成器在 DiT-Base 上进一步降低无引导 gFID。