基于比较预言机的零阶偏好对齐：ComPO 方法
本文提出并分析了一种基于比较预言机的零阶偏好对齐方法 ComPO，它不直接优化可微偏好损失，而是通过扰动当前策略并判断扰动是否提高偏好回答似然、降低非偏好回答似然来提取更新方向，从而利用低似然间隔的“噪声”偏好对；作者在平滑性、梯度稀疏性与预言机兼容性假设下给出了离线基本方案的收敛保证，并引入使用无标注策略生成进行反向 KL 控制的在线版本，在局部覆盖与分布内成对奖励精度下给出性能保证；在 Mistral、Llama、Gemma-2、Qwen3 与 Gemma-3 系列模型上的实验显示其相对现有直接对齐方法有所提升，包括长度控制胜率，成对似然诊断提供了与缓解似然位移一致的证据。