# 双向偏好合成

快手与南京大学提出双向偏好合成（BPS）：对每个通过验证的边界失败，在原始提示下保留常规前向偏好对，并额外合成一个“已达成提示”下的反向偏好对，使同一回答在错误处被拒、在正确处被选；在Qwen3-4B-Instruct-2507上，BPS在保持原始侧成对排序的同时，将留出交叉锚点上的达成侧排序准确率从6.8%提升到62.3%，且不改变DPO目标、不训练奖励模型、不需要在线采样。

快手与南京大学提出双向偏好合成（BPS）：对每个通过验证的边界失败，在原始提示下保留常规前向偏好对，并额外合成一个“已达成提示”下的反向偏好对，使同一回答在错误处被拒、在正确处被选；在Qwen3-4B-Instruct-2507上，BPS在保持原始侧成对排序的同时，将留出交叉锚点上的达成侧排序准确率从6.8%提升到62.3%，且不改变DPO目标、不训练奖励模型、不需要在线采样。