编码智能体主动找缺陷：PROBE 基准显示最强配置只找回 20.8% 维护者修复的缺陷
核心概要
PROBE 基准把 20 个 GitHub 仓库在 2025 年初快照中、随后 18 个月被维护者修复的 2,457 个缺陷作为参照，考察编码智能体能否在整仓库范围内自主找出这些缺陷。十个前沿模型在分片审计流程下，最佳配置只找回 20.8% 的参照缺陷，精确率不超过 8.1%；但独立评审确认 84% 未匹配参照集的发现仍是真实缺陷，说明智能体找到的缺陷与维护者修复的缺陷类型分布不同。
深度剖析
编码智能体可以在整个仓库里自主报告缺陷，但找回的只是维护者实际修复缺陷中的一小部分。 此前的缺陷发现评测要么把智能体指向已知含缺陷的文件或候选补丁，要么只关注安全漏洞；整仓库范围内、以维护者修复行为为参照的缺陷发现此前没有被系统评测。 在 20 个 Python、JavaScript 和 TypeScript 仓库的 2,457 个参照缺陷上，十个模型的最佳配置召回率为 20.8%，没有任何配置的精确率超过 8.1%。
智能体报告的缺陷大多真实存在，只是与维护者修复的缺陷不是同一批。 参照集只包含 18 个月窗口内被修复的缺陷，因此低精确率本身不能说明发现是误报。 独立评审对九个模型各抽 100 条发现，确认 84% 未匹配参照集的发现为真实缺陷；按修复速率外推，即便完美发现者相对全部缺陷的精确率上限也只有 26%–47%。
智能体与维护者在缺陷类型上存在系统性差异，同一类型内部的重合也更高。 智能体更多报告局部正确性错误，维护者更多修复输入处理不完整和公共 API 层面的错误。 智能体发现中算术或比较表达式写错占 18.5%，维护者修复中占 9.9%；缺少受支持输入变体的分支在智能体发现中占 7.7%，在维护者修复中占 18.0%；GPT-5.6 Luna 各次运行之间在同一缺陷类型上的重合中位数是它们与维护者修复重合的 6.3 倍。
启示与展望
评测覆盖 20 个 Python、JavaScript 和 TypeScript 仓库，快照取自 2025 年 1 月 1 日，参照集为随后 18 个月内被维护者修复的 2,457 个缺陷；所有配置使用同一套分片审计流程，每个分片在独立容器中运行，禁用网络访问与网页搜索。
参照集不完整，截至窗口结束仍未修复的缺陷不在其中，因此召回率是相对该参照集而言；三种未公布知识截止日期的模型无法排除训练数据覆盖参照窗口的可能；其他审计流程可能得到不同结果。