编码智能体互相出题：GPT-5.5修掉98.3%缺陷，Claude Opus 4.8出题最难

编码智能体的评测任务不再由人工预先写好，而是由参赛的两名智能体在评测时互相出题、互相解题。 此前的编码基准在发布时就固定下来，任务和参考补丁都来自公开来源，会逐渐进入被评测模型的训练数据，并被更强的智能体刷满。 在11个模型与工具组合、15个仓库、5种语言的1500回合锦标赛中，GPT-5.5配Codex CLI修掉其评审缺陷的98.3%，Claude Opus 4.8配mini-swe-agent的红方胜率27.3%，为全场最高。

每回合由红方在真实仓库上新增一个功能，并在功能里埋一个细微缺陷，蓝方只拿到公开的拉取请求，要在不知道有没有缺陷的情况下审出并修好。 红方分三个上下文隔离的会话完成：先实现功能并写功能测试，再埋缺陷并写密封的触发测试，最后由同一智能体的全新会话在盲审条件下自行修复，修不好就不算有效任务。 任务只有在通过功能测试与仓库原有测试、且恰好失败于密封缺陷测试时才被接纳；在44个任务的抽样复检中，91.7%的任务在三次重跑中都能被盲审修复。

这套竞技场面向仓库级编码智能体的评测研究者与工程团队，在15个相对小型的开源仓库、5种语言上运行，每个仓库固定到具体提交，所有会话在隔离容器内执行。参赛者按模型与工具组合成对，同一模型换工具即算不同参赛者。新增参赛者只需自建题库并与主动采样的在位者比赛，5场即可给出连贯排名，且不改变原有排序。

任务难度随出题能力上升目前只有初步证据：同一模型家族三代出题对固定解题者的失败率为8.3%、0.0%和42.9%，每档任务量有限，相邻版本区间几乎重叠，趋势并非逐版本严格单调。接纳判定只做一次盲审自修复，存在抽样运气；密封缺陷测试由红方撰写，人工抽查50个仅因缺陷测试失败的回合中，3例为误判、2例存疑。竞技场目前限于15个轻量仓库，前沿模型解题能力接近时可能趋于饱和。