# 翻转比较下的鲁棒偏好学习

偏好数据里存在被标反、打平或含噪的比较，直接偏好优化（DPO）把它们全部当作正确标签来拟合，质量随翻转比例上升而下降。RW-DPO为每条比较引入一个未知的可靠性权重，让权重线性进入似然，并在极小极大凹惩罚下与策略联合估计，使模型认同的比较保持权重为一、只调整被它反驳的比较。在Qwen2.5-1.5B的DPO微调中，注入10%到30%随机翻转标签时，其胜率不随翻转率上升而下降，并超过用干净标签训练的DPO，与近期最强方法持平。

偏好数据里存在被标反、打平或含噪的比较，直接偏好优化（DPO）把它们全部当作正确标签来拟合，质量随翻转比例上升而下降。RW-DPO为每条比较引入一个未知的可靠性权重，让权重线性进入似然，并在极小极大凹惩罚下与策略联合估计，使模型认同的比较保持权重为一、只调整被它反驳的比较。在Qwen2.5-1.5B的DPO微调中，注入10%到30%随机翻转标签时，其胜率不随翻转率上升而下降，并超过用干净标签训练的DPO，与近期最强方法持平。