# PROBE框架

PROBE 基准把 20 个 GitHub 仓库在 2025 年初快照中、随后 18 个月被维护者修复的 2,457 个缺陷作为参照，考察编码智能体能否在整仓库范围内自主找出这些缺陷。十个前沿模型在分片审计流程下，最佳配置只找回 20.8% 的参照缺陷，精确率不超过 8.1%；但独立评审确认 84% 未匹配参照集的发现仍是真实缺陷，说明智能体找到的缺陷与维护者修复的缺陷类型分布不同。

PROBE 基准把 20 个 GitHub 仓库在 2025 年初快照中、随后 18 个月被维护者修复的 2,457 个缺陷作为参照，考察编码智能体能否在整仓库范围内自主找出这些缺陷。十个前沿模型在分片审计流程下，最佳配置只找回 20.8% 的参照缺陷，精确率不超过 8.1%；但独立评审确认 84% 未匹配参照集的发现仍是真实缺陷，说明智能体找到的缺陷与维护者修复的缺陷类型分布不同。