跳到主要内容
返回时间线
arXiv来源发表:

多轮修图不再越改越糊:TailSteer只调去噪轨迹尾段,15到20轮累积漂移明显下降

核心概要

多轮图像编辑中,每一轮输出都会成为下一轮输入,未被要求改动的细节会逐轮累积成明显漂移。TailSteer把保真校正集中到扩散采样去噪轨迹的尾段,前段仍沿用基座模型的动态,并用编辑器自身在线 rollout 中未改动的内容作为保真参照,不需要人工标注的编辑配对。在 FLUX、SenseNova 与 Qwen 三个模型家族的四个基座模型上,15到20轮编辑的累积漂移明显减小,同时文生图与单轮编辑基准上的表现大体保持。

Source-provided article image: TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
arXiv

深度剖析

多轮图像编辑的可靠性不再只靠单轮能力推断:一个只改采样末段的后训练步骤,就能让反复编辑的同一张图在十几轮后仍保持主体与背景细节。 此前提升多轮一致性的做法包括加掩码或频率校正等辅助模块、改造潜表示、跨轮缓存视觉记忆,或直接用多轮数据与跨轮强化学习重训;这些路线要么压缩基座模型的生成先验,要么不直接改善模型本身。 在 FLUX.2 [klein] Base 9B 上,每轮采样50步,前49步用基座模型、仅最后一步换成经末端监督微调的模型,五轮后可见的面部退化被明显抑制,20轮后结果在视觉上仍稳定。

完整方法把校正摊到去噪轨迹的尾段,而不是只压在最后一步,因此同一个训练后的模型可以独立跑完整个采样过程。 只训练最后一步时,参数在各时间步共享,末端监督会扰动前段已学到的动态;若把该模型用于全部50步,输出虽比基座模型少了显眼伪影,却变得发灰、过度平滑,所以需要显式切换模型。 训练从冻结基座模型出发,在轨迹前段要求复现基座速度,从设定的起点之后按权重逐步转向以源图未改动区域为参照的保真终点,监督状态取自精调模型自己的在线去噪 rollout,推理时不需要基座模型、掩码或额外适配器。

启示与展望

演示范围是四个开源权重基座模型(FLUX.1 Kontext [dev]、FLUX.2 [klein] Base 9B、SenseNova-U1.5-8B-MoT、Qwen-Image-2.1)在标准图像反馈下的多轮编辑,训练数据来自 Open Images 与 MONET 的源图及其局部编辑与恒等编辑指令;面向从事图像生成与编辑系统研发的读者。

指令遵循方面的提升不如保真一致,多轮成功率只在部分起点上提高;最佳保真出现在较早或中间的起点而非最晚起点;基于 VAE 的编辑器仍残留颜色偏移,作者将其归因于轮间重复的 VAE 重建,并指出潜变量反馈或更好的 VAE 保真度可能与之互补。