客服智能体评测不再只看模型：GPT-5.4五评委全胜，评委之间只有中等一致

客服智能体的技能执行被单独拿出来评测，而不是笼统地测工具调用能力。 此前的工具使用评测多考察模型在多样任务中自行挑选工具，技能执行则要求模型在给定技能上下文里按公司流程完成有状态的多轮工作流。 评测覆盖17个模型，包括GPT-5、GPT-5.4、GEMINI等闭源家族和参数量1.7B到14B的开源权重模型，每个模型由五个独立评委加一个确定性规则评估器打分。

GPT-5.4在每个评委下都排第一，QWEN3.5-9B是20B以下最强的开源权重模型。 QWEN3.5-9B在每个评委下都超过GEMINI-2.5-FLASH-LITE、GPT-5-MINI和GPT-5-NANO等闭源基线，也超过参数量更大的QWEN3-14B和MINISTRAL-14B。 五个评委对同一批对话给出的排名一致，但同一模型的绝对通过率随评委不同有明显差距，评委两两一致率平均为84.2%，Cohen's κ显示为中等一致。

评测场景来自真实客服通话，而不是让前沿模型自由编造。 此前的合成对话基准常从固定模板分布采样，场景可能与真实工作流分布脱节。 流程从约35万条真实通话记录中挖掘出858个工作流聚类，经质量校验和领域专家人工检查后保留80个技能，再生成1800个候选场景并筛出500个用于评测。

工具调用在模拟环境中执行，保留生产接口但不触碰真实客户数据。 直接接入生产工具会受速率限制、可能改动真实客户数据，且往往缺少隔离测试环境。 281个MCP兼容工具来自生产工具目录，模拟层按场景返回结构化响应，并校验输入、模拟可配置故障、维护对话历史与缓存。

评测面向企业客服场景，覆盖按年度经常性收入选出的10个行业、每个行业按通话量选出的前3家组织，技能与工具目录来自这些组织的生产环境。读者对象是需要在成本与延迟受限条件下选择零样本技能执行模型的团队，以及依赖LLM评委做部署门控、训练数据过滤或线上质量监控的工程人员。

结果限于所选行业与组织的客服工作流，未必推广到其他领域、策略或工具接口。MCP兼容模拟保留了面向生产的接口结构，但仍是模拟，基于LLM的生成与评判可能漏掉细微的工作流错误。全部评判为单样本，多样本评判加多数聚合可能降低所报告的分歧。主要开源权重评测上限为20B参数，27B的扩展评测显示规模在同代内持续有益，但与最强闭源模型的差距仍然明显。