跳到主要内容

# τ²-bench

2 篇关联报道

arXiv 2026年11月2日
LeanGuard 在工具调用前拦下违规动作：DTap 直接注入成功率从 57.9% 降到 5.9%
工具调用型语言模型智能体常执行领域策略禁止的动作，LeanGuard 把用 Lean 4 写成的策略放在模型与工具之间，只有通过检查的调用才会真正执行。在 τ 2-bench 上，五个 Qwen 模型的无防护运行至少执行了 33 个 Lean 策略禁止的调用，加装 LeanGuard 后为零；在 DTap 上直接提示注入成功率从 57.9% 降到 5.9%，间接注入从 22.3% 降到 3.8%。带反馈的拒绝不显著改变任务成功率，而只读部署会拦下大量良性写操作。
工具调用型语言模型智能体常执行领域策略禁止的动作，LeanGuard 把用 Lean 4 写成的策略放在模型与工具之间，只有通过检查的调用才会真正执行。在 τ 2-bench 上，五个 Qwen 模型的无防护运行至少执行了 33 个 Lean 策略禁止的调用，加装 LeanGuard 后为零；在 DTap 上直接提示注入成功率从 57.9% 降到 5.9%，间接注入从 22.3% 降到 3.8%。带反馈的拒绝不显著改变任务成功率，而只读部署会拦下大量良性写操作。
Case Western Reserve University
Sreehari Sankar（第一作者）
LEANGUARD 形式化验证策略执行 τ²-bench 提示注入
Hugging Face - Blog 2026年10月20日
不改一个权重，客服智能体靠学来的行为守则登顶τ²-bench零售榜
IBM Research 的 ALTK-Evolve 让客服智能体在不更新模型权重的前提下，把从自身试错轨迹中提炼的行为守则追加到系统提示里。在 τ²-bench 零售域，使用旧款非推理模型 gpt-4.1 的智能体 Pass⁴ 从 57.5% 升到 67.5%，高于 2026 年 10 月 12 日榜单快照中的全部零售条目，也超过在合成数据上微调的 RAFT-30B-A3B 的 61.4%。守则的提取与执行由同一模型完成，无需人工标注。
IBM Research 的 ALTK-Evolve 让客服智能体在不更新模型权重的前提下，把从自身试错轨迹中提炼的行为守则追加到系统提示里。在 τ²-bench 零售域，使用旧款非推理模型 gpt-4.1 的智能体 Pass⁴ 从 57.5% 升到 67.5%，高于 2026 年 10 月 12 日榜单快照中的全部零售条目，也超过在合成数据上微调的 RAFT-30B-A3B 的 61.4%。守则的提取与执行由同一模型完成，无需人工标注。
ALTK-Evolve 学习到的行为准则 τ²-bench 客服智能体

已读完全部报道