工具智能体的鲁棒性测试先查任务是否被改：同一批轨迹重打分，Mistral 的受攻击任务从 64 降到 26

工具智能体的鲁棒性评测开始先判定改动后的用例是否仍然测的是原任务，而不是只看智能体在改动环境里的行为。 此前的做法是接受任何格式正确的注入字段改动，或用嵌入距离阈值限制扰动幅度，两者都不检查定义任务的事实是否被改动。 在 64 个测试任务、14,336 条已存轨迹上，四种编码器的嵌入阈值放行了 75% 到 100% 改变任务的替换，例如把收款人换掉，却拒掉了 24% 到 45% 的有效恶意便条。

契约把任务定义拆成受保护事实、受保护关系、授权结果和可完成性四项检查，改动后的用例必须四项全过才算有效测试。 参考解重放此前被当作可行性证据，但重放失败只说明这一条计划不再可用，重放成功也不说明任务没变。 在 16 个有限状态任务的 96 个候选中，重放只在 64 个有效候选中的 32 个上成功；主路径被禁用或改名时备份路径仍能完成原结果，而结果被扩大的 16 个候选重放全部成功却改变了成功标准。

阈值放行与否会直接改变鲁棒性结论，因为被计入的攻击成功可能全部来自改变任务的替换。 按任务级攻击成功率统计时，阈值策略把 Mistral 的 64 个任务全部记为受到成功攻击。 同一阈值下契约策略只计 26 个，掉出的 38 个任务的攻击成功全部由改变任务的替换提供，配对自助法 95% 区间为 59.4 个百分点；阈值还只覆盖 640 个有效恶意候选中的 273 个，去掉阈值后 Mistral 的计数从 26 升到 48。

契约面向结构化任务说明，需要事先列出受保护事实、受保护关系、允许的编辑和授权结果，受控语料、有限状态诊断和 AgentDojo 的 Banking、Workspace、Slack 三个域都提供了这种结构。读者是设计或复核智能体鲁棒性评测的研究人员与工程师，适用场景是运行智能体之前先筛掉改变任务的候选。材料把攻击库有限且非自适应、未在长期记忆或多智能体交互上执行契约列为自然的下一步。

受控语料和有限状态诊断使用刻意结构化的用例，能显示被测策略会出错以及有效性判定如何影响分数，但不估计这些情况在实际中出现的频率。规范计数反映的是写出的三种规范，不是评测者之间的分歧。实验覆盖四个本地 7 到 8B 模型和选定的 AgentDojo 任务，因此不对前沿智能体或其他基准给出一般比率；自助法区间重采样测试任务，不衡量部署不确定性。契约不发现正确的任务定义，也不建立语义等价或与所有人类判断者的一致。