CWE-bench v2 公开 100 道真实仓库修漏洞任务:最强模型每次尝试仍漏掉 19%
Collinear AI 发布 CWE-bench v2,公开 100 道任务,让智能体拿到真实开源仓库的检出副本,找出并修复一处安全弱点且不破坏原有功能,覆盖 91 种 CWE。评分完全程序化、结果可复现,另设留出集跟踪模型没见过的任务。11 个受评模型中 Gemini 4 Argon 以 67.8% pass@1 领先,Claude Opus 5.5 为 67.3%;95 道任务至少被一个模型解出,但领先者每次尝试仍失败 19%。