不改一个权重，客服智能体靠学来的行为守则登顶τ²-bench零售榜
核心概要
IBM Research 的 ALTK-Evolve 让客服智能体在不更新模型权重的前提下，把从自身试错轨迹中提炼的行为守则追加到系统提示里。在 τ²-bench 零售域，使用旧款非推理模型 gpt-4.1 的智能体 Pass4 从 57.5% 升到 67.5%，高于 2026 年 10 月 12 日榜单快照中的全部零售条目，也超过在合成数据上微调的 RAFT-30B-A3B 的 61.4%。守则的提取与执行由同一模型完成，无需人工标注。
深度剖析
客服智能体的可靠性可以在不触碰模型权重的情况下提升：把自动提炼的行为守则追加到系统提示后，使用 gpt-4.1 的智能体在 τ²-bench 零售域四试全过的任务比例从 57.5% 升到 67.5%。 此前的常见做法是在基准数据上微调模型，例如在合成 τ²-bench 零售数据上训练的 RAFT-30B-A3B 取得 61.4% 的 Pass4。 在 40 个留出零售测试任务上，无守则基线为 57.5%，加入全部守则后为 67.5%，提升 10 个百分点；按完整 base split 计分时该配置达到 67.5%，高于榜单快照中的全部零售条目，比 RAFT-30B-A3B 高 6.1 个百分点。
做法是把智能体在训练任务上的成功与失败轨迹交给同一个模型，蒸馏成简短的行为规则，例如先验证客户身份、执行数据库修改前取得明确同意、退货时主动给出逐项退款说明。 这些规则以纯文本列表形式接在领域政策之后，作为系统提示的一部分；政策、工具和 ReAct 脚手架都保持 τ²-bench 原样。 实验使用 τ²-bench 自带的 ReAct 智能体，采用 THINK→ACT 两阶段循环，gpt-4.1 扮演智能体、gpt-5.5 扮演模拟客户，每个任务尝试 4 次；守则在训练任务上提取后原样用于留出测试集。
启示与展望
结果覆盖 τ²-bench 的零售与航空两个客服域，评测使用该基准自带的 ReAct 脚手架和模拟客户，智能体模型分别为 gpt-4.1 与 gpt-5.5。留出测试集规模为零售 40 个任务、航空 20 个任务，榜单成绩按完整 base split 计分，因此与留出测试数字不同。
守则数量并非越多越好：航空域中 14 条高支持守则把 Pass4 提到 45%，而全部守则只到 40%，尽管后者平均准确率更高。使用 gpt-5.5 时提取出的守则没有一条达到支持度 3，高支持核心只能取支持度 2。守则带来的成本落在输入 token 上，零售全部守则使每次对话成本从约 0.084 美元升到约 0.139 美元。