# 零阶优化

视觉模型在看似简单的场景上仍会出错，而固定数据集无法可靠估计最坏情况误差。程序对抗学习把可解释的程序生成器当作可控数据源，用零阶优化在其低维控制参数上搜索难例。Simple-PAT在法向估计、图像分割和人体姿态估计四个任务上，面对5000万次查询的跨模型黑盒对手，最坏情况误差低于均匀训练和两种鲁棒重加权基线。

视觉模型在看似简单的场景上仍会出错，而固定数据集无法可靠估计最坏情况误差。程序对抗学习把可解释的程序生成器当作可控数据源，用零阶优化在其低维控制参数上搜索难例。Simple-PAT在法向估计、图像分割和人体姿态估计四个任务上，面对5000万次查询的跨模型黑盒对手，最坏情况误差低于均匀训练和两种鲁棒重加权基线。

零阶微调此前对训练样本一视同仁，SAZO改为在线学习每个样本的重要性并据此分配查询，在四个模型族上平均下游性能提升，达到同一训练损失所需查询数最多减少到六分之一。

零阶微调此前对训练样本一视同仁，SAZO改为在线学习每个样本的重要性并据此分配查询，在四个模型族上平均下游性能提升，达到同一训练损失所需查询数最多减少到六分之一。

本文提出并分析了一种基于比较预言机的零阶偏好对齐方法 ComPO，它不直接优化可微偏好损失，而是通过扰动当前策略并判断扰动是否提高偏好回答似然、降低非偏好回答似然来提取更新方向，从而利用低似然间隔的“噪声”偏好对；作者在平滑性、梯度稀疏性与预言机兼容性假设下给出了离线基本方案的收敛保证，并引入使用无标注策略生成进行反向 KL 控制的在线版本，在局部覆盖与分布内成对奖励精度下给出性能保证；在 Mistral、Llama、Gemma-2、Qwen3 与 Gemma-3 系列模型上的实验显示其相对现有直接对齐方法有所提升，包括长度控制胜率，成对似然诊断提供了与缓解似然位移一致的证据。

本文提出并分析了一种基于比较预言机的零阶偏好对齐方法 ComPO，它不直接优化可微偏好损失，而是通过扰动当前策略并判断扰动是否提高偏好回答似然、降低非偏好回答似然来提取更新方向，从而利用低似然间隔的“噪声”偏好对；作者在平滑性、梯度稀疏性与预言机兼容性假设下给出了离线基本方案的收敛保证，并引入使用无标注策略生成进行反向 KL 控制的在线版本，在局部覆盖与分布内成对奖励精度下给出性能保证；在 Mistral、Llama、Gemma-2、Qwen3 与 Gemma-3 系列模型上的实验显示其相对现有直接对齐方法有所提升，包括长度控制胜率，成对似然诊断提供了与缓解似然位移一致的证据。