StableVQ:把向量量化分词器的训练稳定性从“侥幸”变成“可保证”
该工作提出 StableVQ,用三个不含可学习参数的组件——Dynamic STE、Region VQ Loss 与 Decoupled Schedule——把编码器-解码器与码本从相互纠缠的训练中解耦,使二者各自独立完成自身职责,从而在 ImageNet 上跨多种码本规模与初始化设置一致提升训练稳定性、码本利用率与重建质量。
该工作提出 StableVQ,用三个不含可学习参数的组件——Dynamic STE、Region VQ Loss 与 Decoupled Schedule——把编码器-解码器与码本从相互纠缠的训练中解耦,使二者各自独立完成自身职责,从而在 ImageNet 上跨多种码本规模与初始化设置一致提升训练稳定性、码本利用率与重建质量。
已读完全部报道