指令层级训练漏掉一类冲突：补上目标对目标样本，Qwen3.5-9B抗冲突率升34.3点
核心概要
现有指令层级训练集只覆盖约束与约束、约束与目标的冲突，缺少两个目标彼此冲突的类型。把任务拆成目标与约束后，用两条互相处理对方消息的文本处理指令构造出9,544对目标对目标偏好样本，并以直接偏好优化微调Qwen3.5-9B与Gemma4-12B-it。在训练中未出现的四套指令层级基准上，两模型平均抗冲突率分别提高34.3点和19.4点，八项基准上的平均效用变化很小。
深度剖析
指令层级训练集里缺了一整类冲突：两个目标各自要求完成互相排斥的任务。 此前的指令层级训练集，包括OpenAI的IH-Challenge和NVIDIA的HieraSuite，只包含约束与约束、约束与目标两类冲突，没有目标对目标的样本。 把任务拆成目标与约束后逐一核对这两套训练集，目标对目标这一类在两者中都不存在。
补上这类样本后，模型在训练中没见过的真实任务上更愿意守住高优先级指令。 只用这9,544对目标对目标样本做直接偏好优化，Qwen3.5-9B和Gemma4-12B-it的平均抗冲突率分别提高34.3点和19.4点。 评测覆盖IHEval、RuLES、IH-Benchmark和XIH-Bench四套基准，涉及规则遵循、任务执行、安全防御和工具使用四类场景、多种消息角色边界与六种语言。
这类样本与已有冲突样本互补，叠加后比单用已有样本更好。 把目标对目标样本加入HieraSuite的一个子集后，Qwen3.5-9B和Gemma4-12B-it的平均抗冲突率比只在该子集上训练分别高18.0点和10.5点。 该子集含6,306对约束类偏好样本，合并后共15,850对；Qwen3.5-9B在全部十个类别上提升，Gemma4-12B-it在十个类别中的九个提升。
抗冲突能力的提升没有以明显牺牲日常任务表现为代价。 在八项基准的无冲突样本上，只用目标对目标样本训练以及把它加入已有冲突训练，得到的平均效用都与对应原始模型相近。 这八项基准是MMLU-Pro、GPQA Diamond、IFEval、GSM8K、IHEval、RuLES、IH-Benchmark和XIH-Bench。
启示与展望
结论建立在Qwen3.5-9B和Gemma4-12B-it两个模型、四套指令层级基准与八项效用基准之上，训练样本为英文系统消息与用户消息中的文本处理指令。
评估采用固定的基准协议，没有针对微调后模型做自适应优化的攻击测试，因此这类攻击下增益是否保持尚不清楚；另有少量样本出现抗冲突率超过100%的过度防御，说明只用冲突样本训练并不充分，需要混入无冲突样本。