奖励引导扩散采样换到更干净的中间状态：VaLoP把高噪声处的价值梯度误差压下去，机器人成功率也最高
核心概要
奖励引导扩散采样在采样时用价值函数的梯度把生成结果推向奖励模型偏好的图像或动作，但一步去噪估计和学到的价值模型这两类梯度估计在高噪声、也就是样本粗结构被决定的阶段最不准。VaLoP把价值评估挪到采样器前进一步、不确定性更小的前瞻状态，再用一次向量-雅可比积把梯度拉回当前状态；在SD3.5-Medium、SD3.5-Large和FLUX.1-dev三种生成器、三种奖励上，VaLoP与摊销版VaLoP-Fast的目标奖励都稳定高于StitchVM和DPS，VaLoP-Fast在LIBERO与RoboCasa上取得最高成功率。
深度剖析
奖励引导扩散采样多了一个可调的前瞻比例：价值不再只在当前噪声状态上评估，而是先在采样器前进一步得到的更干净状态上评估，再把梯度拉回当前状态。 此前的两类做法各占一端，DPS对一步去噪估计的奖励求导，StitchVM这类学到的价值模型直接在含噪状态上评估，两者在高噪声处都偏离目标价值梯度。 在已知精确价值的三高斯二维混合上，DPS随噪声增大与精确价值梯度失去对齐，StitchVM在最高噪声处对齐最差，而同一价值模型在更干净的前瞻状态上准确得多；在SD3.5上，DPS与StitchVM的单步引导在高噪声处提升HPSv2不到低噪声处的一半。
把梯度从更干净状态拉回当前状态需要额外一项修正，即生成器速度与该梯度的向量-雅可比积，前瞻比例把学到的价值引导和DPS放进同一个族的两端。 只做前瞻、不加修正时，HPSv2为0.365、PickScore为23.52，低于完整VaLoP的0.382和23.79，说明拉回修正承担了大部分增益。 在SD3.5-Medium上以HPSv2奖励做消融，前瞻比例取0.4到0.6时HPSv2与PickScore最高并向两端下降；机器人策略上只用前瞻在LIBERO各套件都低于基线，只有加上修正才超过基线。
VaLoP-Fast用一个小的修正头摊销每步的生成器反向传播，图像生成中每个生成器只训练一个头、用HPSv2价值训练后供所有奖励复用。 完整VaLoP每步需要一次生成器向量-雅可比积，VaLoP-Fast改为一次头前向，在三种生成器上耗时和显存都低于同一实现下的StitchVM。 在DrawBench的200条提示、三个共享种子上，VaLoP与VaLoP-Fast在三种奖励和三种模型下目标奖励都超过StitchVM与像素空间DPS一个标准差以上，VaLoP-Fast在九种设置中的三种超过VaLoP；机器人上VaLoP-Fast在LIBERO三个套件均为最高，LIBERO平均成功率67.0%，RoboCasa原子任务47.4%。
启示与展望
演示范围是SD3.5-Medium、SD3.5-Large和FLUX.1-dev上的文生图引导，以及LIBERO与RoboCasa仿真中的critic引导机器人策略；所有机器人实验都在仿真里完成，作者表示将在未来工作中在真实机器人上评估VaLoP与VaLoP-Fast。
方法依赖生成器潜空间的价值模型或干净动作的critic，VaLoP-Fast还需要每个生成器训练一次头、每个任务训练一次头；误差分析约束的是价值模型回归的价值在生成器状态上的平均误差，而非其梯度误差，因此梯度误差未必随前瞻比例单调下降；前瞻状态只在采样步是精确流映射时才成立，采样步只是近似。