跳到主要内容
检索

# FrontierCode 编程基准

1 篇关联报道

订阅更新
  1. Artificial Analysis

    AI写代码能不能被合并:Cognition用36个开源仓库出题,最强模型仍有四成以上失败

    Cognition与36个开源仓库的维护者共同构建了FrontierCode 1.1,让智能体在真实仓库上做改动,并由维护者标准判断这次改动是否值得合并。评测不只看测试是否通过,还看改动是否过大、是否越界修改无关文件、是否添加无用测试。Artificial Analysis在统一的Stirrup智能体框架下运行主集100个任务,每个任务三次尝试,领先模型Claude Opus 5.5平均得分52%、通过率58%,但领先模型仍有超过40%的尝试无法通过全部阻断性检查。

已读完全部报道