决策模型被改一个字符就改选：30个文本模型、17个视觉模型接受同一批攻击候选
核心概要
DecisionRobust把JEV式决策模型放到文本与图像扰动、提示注入下评测，30个文本模型和17个视觉模型接受同一批候选，未参与候选筛选的留出模型同样出错，而标签一致性检查把表观攻击成功率大幅压低。
深度剖析
决策模型在干净输入上答对，不等于在被改动过的输入上还选对动作。 此前的评测多只看干净输入准确率，或只测固定的单轮文本改写。 在1332个文本样本上，六个模型的原始攻击成功率从38.9%到69.7%，经标签一致性检查后降到12.5%到36.6%。
攻击由构造模型生成后直接喂给其他模型，不再针对目标模型优化。 构造阶段用Jev（jev-1.13.0）搜索候选，评测阶段模型收到完全相同的候选。 10093个扰动候选覆盖16个来源组，注入候选9716个来自1232个样本，评测的30个文本模型中有24个未参与候选筛选。
图像扰动跨模型迁移并不稳定，即使同时针对三个代理模型优化。 优化时对Imajev-4B、Visual-Jev-4B和Jev-Omni三个代理最小化其干净预测的对数概率之和。 160对图像在十个迁移目标上，OneJev-4B的检查后成功率为32.4%，而七个目标的检查后成功率低于10%。
启示与展望
评测覆盖内容过滤、工具与技能路由、工作流评估、检索相关性、GUI定位、物理状态与运动、市场预测、视觉决策和通用语言诊断等任务，保留各任务原生的Choice、Noul和Score接口。文本侧评测30个模型，图像侧评测17个模型，其中分别有24个和12个未参与候选筛选。基准发布在yifan-lan.github.io/DecisionRobust/，作者表示还会放出完整版本，其中包含通过相应标签一致性检查后保留的全部候选，这些候选尚未经过基于迁移的筛选以及随后的语义或可读性审查。
作者指出，基准只覆盖单个决策，不覆盖完整工作流中的下游影响；图像扰动对部分留出模型迁移有限，针对多个代理优化也不保证广泛迁移；计算资源限制了所评测的攻击方法与配置及其任务覆盖。作者还说明，原始攻击成功率与标签一致性检查后的成功率差距很大，仅凭预测改变会高估攻击有效性。