Meta把大模型测试生成放进生产：五个月里589名工程师参与，隐私严重缺陷降两成

大模型生成的即时测试不再停留在研究原型，已成为Meta基础设施的一部分，在代码改动合入生产之前自动生成测试来暴露缺陷。 此前业界多数基于大模型的防缺陷做法是让模型或智能体像人类评审那样阅读代码并依据既往经验判断故障，即时测试走的是另一条路：生成可执行测试，直接展示这次改动带来的具体行为差异。 上线五个月内，Meta有589名工程师（占触达人数的64%）使用了这套系统，这些工程师报告其给出的问题确实可处理，真阳性率为60%。

系统把“找出真缺陷”和“控制误报”拆成两条并行流程，再用两道自动判定加一道人工聚合把关。 单靠生成测试会产出大量弱捕获，即可能是误报的失败测试，因此需要区分强捕获与弱捕获。 “可疑改动”流程把每个改动当作变异体，用变异引导的测试生成区分改动与父版本的行为；“意图感知”流程借助改动内容、标题和摘要推断意图，据此描述风险并构造变异体，再生成杀死变异体的测试，在真实改动上失败的测试被收集为弱捕获。

误报过滤由多模型评审团与规则判定器共同完成，二者给出弱捕获候选的整体排序。 多模型评审团语义信息丰富但判断不确定、难以核验，规则判定器则给出可核验的确定性判断。 评审团综合多个先进大模型对弱捕获测试代码、执行结果、父子版本差异和推断意图的判断；规则判定器名为RubFake，即基于规则的误报消除环境，两者合作决定哪些候选值得进一步考虑。

人工介入从逐条审核改为人在环上，工程师设定标准并在聚合层面查看结果。 人在环中的做法要求工程师审阅每一份输出，人在环上则不再逐条监督。 系统在夜间利用空闲算力运行，先用类似Diff Risk Score的机制筛出前一日提交的高风险改动，再决定是否联系工程师，目标是保持人工标注一致性同时降低工程师被拉来复核弱捕获的概率。

这套系统展示的是Meta内部基础设施上的部署结果，覆盖夜间批量运行、高风险改动筛选、双流程测试生成、自动误报过滤与人在环上复核的完整链路，面向的是需要在大规模代码库中于合入前拦截缺陷的工程团队。

材料报告的真阳性率60%与隐私严重缺陷下降20%均为Meta部署期间的统计，未说明这些数字在不同代码库或不同缺陷类型上是否保持；系统需要更多计算步骤，材料也未给出其相对代码评审式方案的成本对比。