偏好优化多了一条语言学约束：把信息密度均匀度写进奖励，模型用词更接近人的习惯
核心概要
一种把心理语言学中的均匀信息密度假设写进偏好优化奖励的方法，在 AlpacaEval 2、Arena-Hard 与 MT-Bench 上与 SimPO 互有胜负，并在英语补语从句的 that 使用上更接近自然语言。
深度剖析
偏好优化多了一条来自语言学的优化方向：不再只判断哪个回答更受偏好，而是同时要求回答内部的信息分布更接近人类说话时的分布。 此前的 SimPO 不依赖参考模型，只从回答对的比较中学习，因此对优化方向没有约束，只知某些回答更受偏好，却不区分应关注哪种语言属性。 在 AlpacaEval 2、Arena-Hard v0.1 与 MT-Bench 上，UIDPO 与复现的 SimPO 各赢一半基准，差距在训练与评测的随机误差量级内。
信息均匀度被拆成全局与局部两项，分别约束长程信息密度范围和相邻词之间的突变。 原有的均匀信息密度定义用方差同时衡量全局与局部均匀度，要求整段文本信息密度一致；但真实语篇常在话题边界处跳变，长文本中全程均匀很少见。 在 Llama-3-8B-Instruct 与 Mistral-7B-Instruct 上，只保留全局项的设置在两个模型上都低于未微调的 Instruct 模型，而两项混合在 Llama-3-8B-Instruct 的 AlpacaEval 2* 上把长度控制胜率从 45.8% 提到 63.2%。
局部项改用对数概率二阶绝对差的均值，奖励对离群值更不敏感，也更偏好分段线性而非整体平滑的信息曲线。 先前的局部均匀度用一阶差分的方差，对两条信息曲线没有区分能力，且方差对离群值敏感。 在 AlpacaEval 2* 上，混合系数取 0.25 时 Llama-3-8B-Instruct 与 Mistral-7B-Instruct 都取得最好的长度控制胜率，说明该取值在两个模型骨干上一致。
在英语补语从句的 that 使用上，微调后的模型更常补出必要的 that，而减少多余 that 的幅度较小。 SFT 与 SimPO 在必要 that 上的正确计数分别为 495 与 617，UIDPO 为 676；总正确计数从 843 与 960 升到 1021。 从 Switchboard 语料抽取的 4817 个补语从句实例上，SFT、SimPO、UIDPO 两两比较的 Cochran's Q 与 McNemar 检验 p 值均低于 0.05；作者同时指出，在整体产生 that 的倾向上，UIDPO 位于 SFT 与 SimPO 之间。
启示与展望
报道覆盖的是 UIDPO 在 Llama-3-8B-Instruct 与 Mistral-7B-Instruct 两个指令模型上的偏好优化实验，训练数据为 llama3-ultrafeedback-armorm，评测使用 AlpacaEval 2、Arena-Hard v0.1 与 MT-Bench，语言学分析基于 Switchboard 语料中抽取的补语从句。适合关注偏好优化目标设计与语言学约束的研究者阅读。
作者报告 UIDPO 与 SimPO 的差距在随机误差量级内，属于可比而非稳定超越；Mistral-7B-Instruct 与用 Llama-3-8B-Instruct 生成的偏好数据之间存在不一致，作者将其结果列为参考；原始均匀信息密度假设在何种条件下仍能奏效，作者表示目前尚不清楚。