测试用例不再逐条手写:五个智能体分工自审,跨五个数据集变异得分均值93.4%
核心概要
软件测试用例设计长期依赖人工,而把生成当作一次性文本翻译的模型难以处理多层业务规则。一个由解析、分诊、架构、编写、审计五个角色组成的智能体流水线,把测试生成改成带状态的推理流程,审计角色在输出前反复修正脚本。在旅行、电信、金融监管与政府岗位匹配五个数据集上,该流水线的变异得分均值为93.4%,幻觉率1.4%,冗余率7.8%,但平均生成时间达21.2小时。
深度剖析
测试用例生成被拆成一条有状态的智能体流水线,输出前由内部审计角色自行检查并修正脚本,而不是一次性把需求文本翻译成用例。 此前的做法把测试生成当作无状态的字符串翻译任务,随机森林、T5-Small、RAG、遗传算法与Mistral 7B静态模型各自只做一遍生成,不保留多步业务逻辑的上下文。 在ISIS Travel、Travco、Vantage Towers、ESMA FIRDS与JMP五个数据集上取平均,该流水线的变异得分为93.4%,静态Mistral 7B为68.8%,RAG为57.2%,随机森林为15.6%。
流水线按角色分工:解析角色切分需求文本,分诊角色筛出可测条目,架构角色先定等价类与边界,编写角色产出JSON脚本,审计角色充当内部编译器。 审计角色带一个自愈回路,由JSON校验与语法修复反复纠正载荷,并以最多两次重试的熔断上限终止循环,避免早期试验中出现的无限精修。 在ESMA与JMP两个数据集上做消融,去掉审计角色后句法正确率从99.6%降到84.2%,去掉架构角色后变异得分从93.4%降到76.1%、冗余率从7.8%升到31.4%。
高保真输出以算力为代价:智能体流水线需要A100高显存GPU,生成时间远高于分钟级的传统流程。 随机森林、T5-Small、RAG与遗传算法在T4上每个数据集只需5到10分钟,静态Mistral 7B平均16.6小时,智能体流水线平均21.2小时,ESMA上达30小时。 五个数据集的合并均值显示,智能体流水线平均生成2636条用例,少于静态Mistral 7B的4658条,但幻觉率1.4%对13.6%、冗余率7.8%对22.2%。
启示与展望
演示范围是五个需求文档上的离线批量生成:三个商业平台的需求由Perplexity.ai反向提取,另两个是ESMA FIRDS功能规范与政府岗位匹配平台的需求说明;评测指标为变异得分、需求可追溯性、幻觉率、冗余率、分支覆盖与句法正确率。读者对象是关注测试自动化的软件工程师与质量保障研究者。
生成模型存在非确定性,同一需求在不同运行中可能给出质量不同的用例,作者以结构化思维链提示来缓解;早期智能体试验出现过对单条用例的无限精修,靠硬编码重试上限终止。三个商业平台的需求并非原始项目文档,而是由Perplexity.ai反向提取。
