选项顺序不再左右答案:迭代循环重排让五个基准、五个模型的翻转率全部归零
System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。
System One 决策模型一次前向就给出答案,但答案会随选项排列顺序改变,且概率里混有对答案标签的先验偏好。IJev 从与输入顺序无关的排序出发,反复用去先验的循环平均分布重排选项,再对每一轮分布取平均,而不是返回最后一轮。在五个基准、五个模型上,每个组合的翻转率都是零;默认的均匀轮平均在 25 个组合中有 24 个降低了负对数似然,准确率与单次循环平均相当。
DecisionRobust把JEV式决策模型放到文本与图像扰动、提示注入下评测,30个文本模型和17个视觉模型接受同一批候选,未参与候选筛选的留出模型同样出错,而标签一致性检查把表观攻击成功率大幅压低。
把智能体的动作选择换成Jev这类快速决策模型后,单步决策成本降了66.1%到78.4%、耗时降了73.9%到81.5%,但在ALFWorld上任务成功率基本持平、在两个移动端智能体上明显下滑,说明省下的钱不一定变成交付出去的成功任务。
生物医学检索句编码器可以直接改造成一次前向就输出可阈值概率的定型决策模型,交叉头在已见任务上达到66–73分,接近三倍体量的Laya-large微调后的75.0分。
Porcedda 构建了 Sys1Cal-v1——一个由 92 个概率问题渲染成 365 个真/假条目的合成数据集,其命题概率由构造已知——并用总变差距离与分布重叠(软准确率)评估 Jev 的 Noul、Choice、Score 三个原语以及开源基线 SemIf,发现 Jev 的 Choice 概率被系统性扭曲,而用一个从 Score 期望估计出的潜在“不确定”第三真值分量反演校正后,Choice 的中位软准确率从 0.771 提升到 0.978。
该工作提出Chinese-Jev:用统一数据处理流程把异构中文标注转成候选选项上的概率目标,先以1000万条通用中文决策预训练轻量编码器模型,再分别针对医疗、法律、金融微调,并发布含307,900条留出决策的CJ-Bench;预训练后在通用任务上准确率69.20%,相对闭源Jev提升1.24%,期望校准误差从11.45%降至3.78%,延迟14毫秒,医疗微调后准确率比Jev高4.0%,三个专业领域平均达到Jev的92%,平均延迟15毫秒,INT8量化模型可在手机浏览器上约1秒完成一次决策。
已读完全部报道