约束违反不再一视同仁：按严重度加权的偏好信号，让8B模型单次推理逼近多智能体
核心概要
面向带硬约束的规划任务，一种新的偏好优化目标把二值偏好信号换成由确定性符号验证器算出的连续违反幅度，并按违反严重度缩放，同时用字典序目标把硬约束与软偏好分开。此前直接偏好优化对所有违反给同一训练信号，且当偏好对来自不同模型家族时容易受长度与风格偏置影响。配套的合成流程用程序化约束画像和最小编辑蒸馏生成偏好对，8B模型在TravelPlanner上取得89.2%通过率、NaturalPlan上93.4%调度率，在未见过的PlanBench Blocksworld上比GPT-4o高9.2个百分点。
深度剖析
带硬约束的规划任务里，模型不再把一次轻微超预算和一次严重超预算当成同一种错误来学。 此前的直接偏好优化对所有被拒样本给同一个隐式奖励差，不区分违反的严重程度，也不区分硬约束与软偏好。 在TravelPlanner上，用该目标训练的8B模型通过率为89.2%，接近多智能体系统的89.4%，而单次推理延迟为2.1秒，多智能体为28.5秒。
训练信号来自一个确定性符号验证器，而不是学出来的奖励模型。 验证器按约束类型把原始违反量除以该类型的中位严重度，再用1.0封顶，得到连续严重度，再经有界变换转成偏好损失里的幅度。 幅度来源对照显示，验证器归一化严重度取得89.4%通过率，随机幅度为65.6%，长度差幅度为67.8%，奖励模型差为73.3%。
硬约束与软偏好被拆成两级目标，软偏好只在硬约束已满足时才参与优化。 此前的方法把两类约束混在同一个偏好信号里，可能用硬约束去换偏好满足。 在TravelPlanner的失败案例中，没有出现软偏好被错误地置于硬约束之上的错误，这与字典序目标的预期行为一致。
偏好对由程序化约束画像和最小编辑蒸馏合成，以减少风格与长度带来的偏置。 全量重写式蒸馏会改动大量与约束无关的文本，标准偏好优化会把这些风格差异当作隐式信号利用。 最小编辑平均改动约32个token，而全量重写为245个token；在标准偏好优化下，改用最小编辑把通过率提高14.2个百分点，在带幅度目标下提高16.6个百分点。
启示与展望
这套流程在旅行规划与零售推荐两个域上合成并验证偏好对，评测覆盖TravelPlanner的180条查询、NaturalPlan的200个会议调度实例，以及分布外的PlanBench Blocksworld问题。训练在四块80GB的A100上完成，监督微调约4小时，偏好优化约2.5小时，数据合成约花费320美元。作者把该方法定位为需要确定性约束校验的场景，并说明尚未测试收益是否能迁移到明显更小或更大的模型规模。
方法依赖符号验证器，扩展到约束无法确定性检查的开放世界仍是未解问题。TravelPlanner的失败案例中预算违反占比最大，为36.8%，作者认为隐式算术仍是更长计划的瓶颈。作者还提到，用Qwen3-8B思考模式的初步实验显示预算违反进一步减少，但为保持思考与非思考推理口径一致而未纳入主结果；教师引导的数据合成成本不低，更大规模部署可能需要更高效的自博弈策略。