AI写代码能不能被合并：Cognition用36个开源仓库出题，最强模型仍有四成以上失败
核心概要
Cognition与36个开源仓库的维护者共同构建了FrontierCode 1.1，让智能体在真实仓库上做改动，并由维护者标准判断这次改动是否值得合并。评测不只看测试是否通过，还看改动是否过大、是否越界修改无关文件、是否添加无用测试。Artificial Analysis在统一的Stirrup智能体框架下运行主集100个任务，每个任务三次尝试，领先模型Claude Opus 5.5平均得分52%、通过率58%，但领先模型仍有超过40%的尝试无法通过全部阻断性检查。
深度剖析
代码智能体的评测对象从“测试是否通过”扩展到“维护者是否愿意合并这次改动”，改动规模、越界修改和无用测试都被计入评分。 此前的编码评测主要看测试结果，而模型生成的改动往往需要大量清理才能被维护者接受。 FrontierCode由36个开源仓库的维护者参与构建，每个任务投入超过40小时，任务保持私有以避免污染。
评分由确定性测试与定性审查共同完成，每次尝试的每项检查分为阻断性与非阻断性两类。 只通过隐藏测试不足以得分，任何一项阻断性检查失败该次尝试即记0分。 隐藏测试与命令检查、对改动文件范围和代码量的限制，以及依据维护者标准的LLM评审共同构成验证器；全部阻断性检查通过后得分落在70%到100%之间。
在统一智能体框架下，领先模型仍有超过40%的尝试无法通过全部阻断性检查。 Claude Opus 5.5（max with fallback）以平均52%领先，其通过率为58%；GPT-6.1 Sol（max）与Claude Fable 5.1（max with fallback）以49%紧随其后。 主集100个任务、每个任务三次尝试，所有模型运行在Stirrup框架中并限制在250轮以内，由GPT-6 Luna（medium）担任评审；100个任务中有9个没有任何模型在任何一次尝试中通过。
启示与展望
评测覆盖FrontierCode 1.1主集的100个任务，每个任务三次尝试，所有模型运行在Stirrup智能体框架中并限制在250轮以内，由GPT-6 Luna（medium）担任评审。任务来自36个开源仓库的维护者，保持私有以避免污染。该基准以独立排行榜形式发布，尚未纳入Artificial Analysis Intelligence Index，计划稍后加入其Coding Agents排行榜。
通过率指完成全部阻断性检查的尝试比例，得分还反映非阻断性的期望项，两者含义不同。成本与输出token差异很大，每任务成本从0.09美元到12.00美元不等，输出token从约27k到约236k不等，每任务耗时从约3分钟到约46分钟不等。100个任务中有9个没有任何模型在任何一次尝试中通过，也没有任务被所有模型在每次尝试中通过。