换个说法就放行：给归因加一致性约束，小工具智能体的拒答翻转率从11.3%降到9.3%
核心概要
工具型语言模型智能体常对同一有害请求的一种措辞拒答、对另一种措辞照做，而漏掉的拒答会变成真实动作。研究在Llama-3.2-1B-Instruct上用LoRA微调，训练数据不取自AgentHarm，并把潜归因正则化（LAR）与仅做同义改写的对照在三个随机种子上比较。在无害工具任务上把过度拒答对齐到10%后，LAR把同一任务内拒答不一致的比例从25%降到19%，把改写引起的决策翻转率从11.3%降到9.3%，而有害与无害的区分能力没有显著变化。
深度剖析
拒答训练对措辞很脆弱，把请求换个说法就可能让原本拒答的模型照做；对会调用工具的智能体，一次漏掉的拒答会直接变成执行动作。 此前的诊断多集中在聊天式提示上，而这里要处理的是智能体在拒答与执行之间的决策，并且必须把“拒答太少”和“拒答不一致”两种失败分开看。 评测用AgentHarm的176条有害任务，每条含三个经审核的改写版本，共704条有害提示，另配176条无害工具任务。
在过度拒答对齐到同一水平后，LAR训练出的模型对改写更不敏感，同一任务的不同说法更容易得到相同决定。 对照条件只做同样的改写增广，数据、种子、优化器和评测都保持一致，因此差异来自归因项而不是数据量或训练流程。 在10%过度拒答下，LAR把混合决策任务比例从25%降到19%（−6.8个百分点，95%置信区间−12.0至−2.8），翻转率从11.3%降到9.3%（−2.7个百分点，−5.1至−0.5）；无阈值的拒答分数在改写下的相对变化从0.306降到0.206。
做法是在交叉熵损失之外加一项惩罚，要求模型对原请求和改写请求的归因向量保持一致。 归因向量按不同词元而非位置汇总，因为改写会改变分词和词序，按位置对齐会变成测量假象。 训练用LoRA（秩16，α=32）微调Llama-3.2-1B-Instruct，数据来自AdvBench的300条有害行为和Dolly的299条无害指令，每条最多三个自动改写，正则强度λ=0.5，训练两个轮次。
这种稳定性不是安全性的提升：模型区分有害与无害请求的能力没有显著变化。 在过度拒答对齐后，有害请求的拒答率与对照相比统计上不变，检测指标AUROC只提高0.019，置信区间跨过零。 AUROC从0.854升到0.873（+0.019，95%置信区间−0.003至+0.039），增益集中在带“先调用某工具”提示的请求上，翻转率从15.5%降到8.7%。
启示与展望
结论建立在Llama-3.2-1B-Instruct、LoRA微调、单一正则强度λ=0.5和三个随机种子上，评测为AgentHarm首轮决策与桩工具，匹配阈值在AgentHarm无害任务上校准。
作者把结果定位为初步证据：区间只反映行为采样和三次运行的合并，种子层面只有三对；决策仅取首轮，由关键词规则和工具调用检测判定，未使用AgentHarm评分器；评测改写来自单一生成器，人工等价性审核仍待完成；未改动的模型本身很少拒答，因此这里的绝对拒答率对更强模型说明有限。