客服流程生成不再靠重排器:一份可移植技能在132个真实工单上做到99.2%流程等价
核心概要
一份不含模型权重、由自然语言操作手册和确定性脚本组成的可移植技能,在132个真实客服工单上生成与人工审核答案流程等价的处置指引,比例达99.2%,证据充分率为83.3%。
深度剖析
客服处置指引的生成可以不再依赖复杂的检索工程,而是打包成一份可移植的技能:一段自然语言操作手册、几个确定性脚本、一个配置文件,加上一个带导航层的语料库,由通用智能体运行时执行。 此前的生产做法是搭建一套检索增强生成栈,包含微调或提示特化的生成器、多阶段检索、学习式重排器和查询改写器,以及按工作流定制的启发式规则;这类栈构建昂贵,且知识库、联系原因分类和用户行为漂移时维护困难。 在132个来自已部署流量的真实客服工单上,该技能生成的指引被大模型评审判定为与人工审核通过的参考答案流程等价的比例为99.2%,置信区间为[95.8, 99.9]。
技能把检索面组织成一层由大模型自动生成的导航层,检索先落在导航页上,再按稳定标识符解引用到底层源文章取证据。 导航层不是人工编写的摘要索引,而是由一次GPT-4.1对2881篇源文章的更新或创建循环自动生成,合并实体和类型化链接在这一循环中自然涌现,不需要单独的聚类步骤。 对全部3168条导航到源文章的链接,由独立且更强的模型逐条判定,约96%被判定为相关且有源文章支持,约4%为悬空、不相关或支持不足,并在后续质量检查中修正;结构检查确认全部2881篇源文章都至少被一个导航页引用。
证据契约由代码而非提示词强制执行:每个输出的片段在保存时都要被校验为所引文章的逐字子串,不符合的写入被整体拒绝。 此前的做法通常把这类约束写在提示词里,依赖模型行为遵守,无法独立于模型审计。 在报告的运行中,132个工单共输出1769个片段,其中99.7%在归一化前与所引文章逐字节相同,100%满足归一化容忍的强制契约,剩余0.3%仅差一个弯引号与直引号。
把检索后端从自建混合检索换成组织的生产检索增强生成服务后,两个后端在流程等价上接近,但在证据充分率上差距明显。 两个后端搜索同一语料库,所需文本对两者都可达,差别在于工作流:导航层说明每个工作流解决什么问题并链接到确切的源文章,智能体在发现证据缺失后可以发起有针对性的补充检索,而脚本化的生产流程在撰写前就完成了检索,无法再检索。 在相同的132个工单、相同语料库和相同评测协议下,自建混合检索后端为99.2%流程等价和83.3%证据充分,生产检索增强生成服务为96.2%和59.8%,证据充分率的95%威尔逊区间不重叠。
启示与展望
该技能面向成熟且维护良好的操作语料库、可容忍延迟的工作流,以及每个工单都有人工复核的场景,评测覆盖132个来自已部署流量的真实客服工单。作者明确不声称生产流水线过时,并指出该技能不涉及延迟、单例成本或负载下的鲁棒性。作者提出,任何具有可验证参考答案流程和可引用语料库的任务都可以采用流程等价与证据重建这两个指标的拆分,两者之间的差距指示下一次投入应放在智能体还是语料库。作者将技能的操作手册、脚本接口、输出模式、校验器和评审提示结构复现在附录中,不含工单和文章文本。
作者将研究限定为单一部署案例,全部证据来自一个内部基准和一个语料库,不作跨领域优越性声明,向公开流程支持基准的移植仍是未来工作。质量由大模型评审以三次多数投票打分,作者估计残余不确定性约2至3个百分点,人工复评和第二个评审模型家族留待未来工作。检索后端的对比比较的是两个端到端工作点,而非在匹配查询与抓取预算下的两个检索器,作者保留的工件无法确定证据差距在匹配导航投入下是否仍然存在。消融实验中每个被消融分支的威尔逊区间都与完整系统重叠,精确配对检验在0.05水平上没有一个分支与完整系统分离,最小值为0.078。作者对22个证据充分率失败工单的检查是定性的,由作者本人完成,不是带一致性统计的多标注者标注,因此只作为支持性观察报告。
