偏好标签被翻转时不再一律降权：RW-DPO给每条比较一个可靠性权重，翻转率升高胜率不降
核心概要
偏好数据里存在被标反、打平或含噪的比较，直接偏好优化（DPO）把它们全部当作正确标签来拟合，质量随翻转比例上升而下降。RW-DPO为每条比较引入一个未知的可靠性权重，让权重线性进入似然，并在极小极大凹惩罚下与策略联合估计，使模型认同的比较保持权重为一、只调整被它反驳的比较。在Qwen2.5-1.5B的DPO微调中，注入10%到30%随机翻转标签时，其胜率不随翻转率上升而下降，并超过用干净标签训练的DPO，与近期最强方法持平。
深度剖析
偏好优化不再把每条人工比较都当成正确标签，而是给每条比较一个可被数据修正的可靠性权重。 DPO把标注者报告的偏好一律视为正确，其质量随翻转标签比例上升而稳定下降；按全局翻转率做校正的方法对所有比较一视同仁，无法指出哪几条是错的。 在Qwen2.5-1.5B-ultrachat200k上用LoRA做DPO微调，UltraFeedback比较中按比例随机翻转标签，DPO对干净标签DPO的胜率从10%翻转时的50.0降到30%翻转时的34.5。
权重线性乘在模型与标注的一致度上，因此同一条比较可以从完全信任连续过渡到无信息再到方向反转。 权重取一即回到DPO项，取零使该比较不提供信息，取负则把它的方向纠正过来，真正打平只是这条连续谱上的一个点。 权重在标准化间隔上估计，用稳健标准差（MAD）定标且不中心化，使间隔随策略变锐时判定阈值不随之漂移；权重步在一步标准近似后有闭式解，额外开销相对DPO可忽略。
惩罚只在模型与标注矛盾时起作用，模型认同的比较权重精确保持为一，训练方式与DPO相同。 此前按比较逐条校正的方法各有缺口：有的只能丢弃不能反转，有的按固定规则把每条比较与它的反转混合而从不完全信任一条，有的惩罚会给估计带来偏差。 在线性指数模型仿真中，随机翻转下相对误差为0.381、特征相关翻转下为0.526，均低于DPO的0.632与0.666；在只翻转清晰比较的设定下，它标出95%的翻转、误标0.8%的干净比较，精确率0.91，而PLC-DPO与均值漂移方法的精确率分别为0.35与0.19。
在语言模型上，校正集中在被翻转的比较上，而不是把权重均匀摊开。 PLC-DPO按固定规则把每条比较与它的反转混合，落在翻转对上的份额等于翻转率；RW-DPO的权重只落在它怀疑被翻转的比较上，因此翻转对拿到的份额高于翻转率本身。 语言模型间隔对翻转的辨识不如仿真锐利，标记精确率至多一半，因此RW-DPO对可疑翻转做降权而非反转；第二轮训练使策略间隔变锐后，其标记精确率随之上升。
启示与展望
演示范围是线性指数模型的仿真，以及Qwen2.5-1.5B-ultrachat200k在UltraFeedback上、注入10%到30%随机翻转标签的两轮LoRA微调；胜率由Skywork-Reward-V2-Llama-3.1-8B评判，以同预算的干净标签DPO为参照。理论保证针对线性指数模型与二值真实权重，语言模型上使用的是随机小批量变体。
保证建立在线性指数模型与二值真实权重之上，打平与分级可靠性留待后续工作；方向与尺度由不同比较识别，只有接近临界的比较携带尺度信息，落在临界比较上的翻转无法与普通噪声区分，会偏置包括本方法在内的尺度估计。语言模型上的随机小批量方案不在一致性理论的覆盖范围内，且其标记精确率至多一半。