选项顺序不再左右答案:迭代循环重排让五个基准、五个模型的翻转率全部归零
核心概要
System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。
深度剖析
一次前向给出答案的 System One 决策模型,其选择会随选项列出顺序变化,选项越多依赖越强;在智能体里这个顺序常来自工具注册表或页面布局,改一处就可能悄悄改变预测。 此前的 AnyJev-L0 读入输入顺序的全部循环移位并除掉标签先验,但它平均的只是输入顺序的旋转,输入顺序仍决定哪些列表进入平均,而且这些列表只构成一个循环类。 在五个基准、五个模型上,原始列表读法的翻转率从 7.9% 到 59.7%,AnyJev-L0 把它降到 1.4%–39.4%,但从未降到零。
IJev 把重排与去先验循环平均交替迭代,每一轮都只依赖上一轮的不变顺序,因此每一轮迭代和轮平均都与输入顺序无关。 不变排序算子是一个固定函数,对同一选项集合的任意输入顺序都返回同一张有序列表;按选项文本排序和按逐点是否正确的打分排序都是例子。 在五个基准、五个模型共 25 个组合上,IJev 的翻转率全部为 0.0,与不变性命题的保证一致;20 轮的运行没有在打乱顺序下重复。
迭代轨迹在 20 轮预算内仍在移动,所以返回最后一轮等于取一个任意样本;默认改为对已跑各轮的分布取均匀平均。 单次循环平均只覆盖初始算子选中的那一个循环类,不同不变算子会选中不同类,而模型在旋转下不对称时会给不同类不同的分布。 相对 AnyJev-L0,20 轮的均匀平均在全部 25 个组合中降低 ECE,在 23 个中降低 Brier,在 24 个中降低 NLL;未改善的是 Typed Decisions 上的 Qwen3-4B 与 Phi-3.5-mini。
默认规则带来的可靠收益是校准,准确率只是持平或小幅提高。 在预先设定的 20 轮预算下,均匀平均在五个基准上的平均准确率对每个模型都不低于 AnyJev-L0。 平均准确率增益分别为 1.8、0.4、0.0、1.8 和 1.0 个百分点,对应 Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Mistral-7B 和 Phi-3.5-mini;单个组合有升有降,最大提升是 Qwen3-1.7B 在 Typed Decisions 上从 49.0 到 57.7。
启示与展望
演示范围是五个单标签选择基准与五个 1.7B–8B 指令微调模型,全部在单张 RTX 4090 D 上以 fp16 运行,先验一律用无标签的批内估计。
不变性证明假设模型确定且提示按规范排序,返回非确定 logits 的接口仍可能翻转;批先验假设评估批具有代表性,批内条目通过该先验相互耦合;逐点初始化在打分接近平坦时信息很少,后续轮次可能损失准确率。
