# 约束边际直接偏好优化

面向带硬约束的规划任务，一种新的偏好优化目标把二值偏好信号换成由确定性符号验证器算出的连续违反幅度，并按违反严重度缩放，同时用字典序目标把硬约束与软偏好分开。此前直接偏好优化对所有违反给同一训练信号，且当偏好对来自不同模型家族时容易受长度与风格偏置影响。配套的合成流程用程序化约束画像和最小编辑蒸馏生成偏好对，8B模型在TravelPlanner上取得89.2%通过率、NaturalPlan上93.4%调度率，在未见过的PlanBench Blocksworld上比GPT-4o高9.2个百分点。

面向带硬约束的规划任务，一种新的偏好优化目标把二值偏好信号换成由确定性符号验证器算出的连续违反幅度，并按违反严重度缩放，同时用字典序目标把硬约束与软偏好分开。此前直接偏好优化对所有违反给同一训练信号，且当偏好对来自不同模型家族时容易受长度与风格偏置影响。配套的合成流程用程序化约束画像和最小编辑蒸馏生成偏好对，8B模型在TravelPlanner上取得89.2%通过率、NaturalPlan上93.4%调度率，在未见过的PlanBench Blocksworld上比GPT-4o高9.2个百分点。