偏好优化多了一条语言学约束:把信息密度均匀度写进奖励,模型用词更接近人的习惯
一种把心理语言学中的均匀信息密度假设写进偏好优化奖励的方法,在 AlpacaEval 2、Arena-Hard 与 MT-Bench 上与 SimPO 互有胜负,并在英语补语从句的 that 使用上更接近自然语言。
一种把心理语言学中的均匀信息密度假设写进偏好优化奖励的方法,在 AlpacaEval 2、Arena-Hard 与 MT-Bench 上与 SimPO 互有胜负,并在英语补语从句的 that 使用上更接近自然语言。
已读完全部报道