蒙版只圈了区域,风格还得自己对上去:GRNStyle 用极坐标编码,背景编辑的区域风格相似度达到 0.705
核心概要
局部视频风格化此前靠蒙版圈定编辑范围,风格由文本单独给出,模型得自己把风格对到区域上。GRNStyle 在生成式精化网络(GRN)基础上,把每种风格编成单位圆上的等长极坐标方向写进蒙版,前两个通道存方向、第三个通道保留占用,让改哪里和改什么风格在同一张条件图里确定。数据由全局风格化、物体移除、抠像与合成四步生成并经人工核验,共 10 万对、18 种风格;在 168 个用例的 LociArt Benchmark 上,GRNStyle 背景编辑的区域风格相似度为 0.705、前景为 0.407,均为表中最高的。
深度剖析
视频可以只给蒙版圈定的部分换画风,画面其余部分保留原样,两件事由同一个模型统一给出。 此前的局部方案用蒙版表示编辑范围、用文本表示风格,二值蒙版只说改到哪里,风格身份得靠模型自己从文本关联到所选区域。 LociArt Benchmark 的 168 个用例上,GRNStyle 前景编辑的区域风格相似度(SPS)为 0.407、背景为 0.705,都是表中最高的,背景 PSNR 26.15 dB 排第二。
风格不再作为独立文本输入,而是写进蒙版本身的几何量。 极坐标风格感知蒙版给每种风格一个单位圆上的固定角度,风格之间等长、只有方向不同,因此不带人为的大小顺序;表征—几何条件把 VAE 编码的蒙版特征以空蒙版编码为锚点,再叠上原始蒙版池化得到的占用支撑,兼顾时间上下文与边界定位。 训练用的 10 万对示例覆盖 18 种风格,由全局风格化、物体移除、抠像与合成逐步生成,并经过人工核验。
启示与展望
已展示的范围是 LociArt Benchmark 上的局部风格化评测:80 段源视频、84 个对象—蒙版单元按前景编辑与背景编辑两种协议展开,共 168 个用例,视频统一为 81 帧、720p;另有一项 20 人参与、160 个用例的用户研究。
保留效果的读数要和风格强度一起看:表中最高的 PSNR 来自 VACE-1.3B,而它的风格化程度最低,这个数字不说明更好的风格—保留折中。多区域、多风格合成只在单区域、单风格训练后以定性示例给出,固定码本的扩展性也只在 10 类扩到 15 类、不回放旧数据的设定里检验过。
