CWE-bench v2 公开 100 道真实仓库修漏洞任务：最强模型每次尝试仍漏掉 19%
核心概要
Collinear AI 发布 CWE-bench v2，公开 100 道任务，让智能体拿到真实开源仓库的检出副本，找出并修复一处安全弱点且不破坏原有功能，覆盖 91 种 CWE。评分完全程序化、结果可复现，另设留出集跟踪模型没见过的任务。11 个受评模型中 Gemini 4 Argon 以 67.8% pass@1 领先，Claude Opus 5.5 为 67.3%；95 道任务至少被一个模型解出，但领先者每次尝试仍失败 19%。
深度剖析
公开基准给出 100 道任务，每道任务给智能体一份真实开源仓库的检出副本和一条简短指令，要求它找出并修复一处安全弱点，同时不破坏原有功能。 任务设置与之前相同，v2 把公开集扩到 100 道任务，覆盖 91 种不同的 CWE（通用弱点枚举，即按类型编号的安全缺陷分类）。 评分完全程序化，结果确定且无需额外成本即可复现；每道任务还经过人工复核，并逐项检查指令是否像真实指令、被评分行为能否从指令推出、验证器是否只检查正确行为而非某一种修复的结构。
任务设计追求覆盖面：做得好意味着要理解攻击者可能利用的多个弱点面，仅识别熟悉的模式不够。 防御方必须预判攻击者所有可能的进入方式并每次都做对，因此单一漏洞类型的熟练不能代表能力。 100 道任务分布在 91 种 CWE 上，跨越较宽的漏洞类别；每道任务还检查起始代码失败、参考修复通过，以及验证器能否拒绝已知上游补丁这类记忆化解法。
在 11 个受评模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 居首，Claude Opus 5.5 以 67.3% pass@1 和 78.0% pass@4 紧随其后。 95 道任务至少被一个模型解出，说明任务确实可解；但领先模型在每次尝试上都失败 19% 的题目，长尾远未解决。 成本方面，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：DeepSeek 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 多花 1.83 美元提高十个百分点，Gemini 以 3.92 美元略微领先。
启示与展望
公开集为 100 道任务、覆盖 91 种 CWE，评分完全程序化；另有一个未公开的留出集用于跟踪模型未见过的任务，需联系 cyber@collinear.ai 才能在其上评测。任务以 Harbor 任务形式打包，可从 Hugging Face 仓库直接运行，数据集需先在页面上接受访问条件。
领先模型在每次尝试上都失败 19% 的题目，长尾尚未解决；公开集与留出集分开维护，留出集用于跟踪模型没见过的任务。