跳到主要内容
检索

# 编码智能体评估

1 篇关联报道

订阅更新
  1. arXiv

    编码智能体八成通过偏微分方程测试,其中约一成根本没解方程:PDEViBench 把每条通过程序追到计算路径

    PDEViBench 把偏微分方程编码智能体的评测从“输出是否对得上参考解”改为同时追查程序的计算路径。290 个任务、六个方程族中,Codex 智能体(GPT-5.2)在 1450 次运行里通过率 80.1%,但其中 8.6 个百分点来自直接取用制造解而非数值求解;只计真正求解的通过后,哪些任务特征显得困难发生改变,两个提示词的排名也反转。在禁止取用精确解的提示下,所有通过程序都做了数值求解。

已读完全部报道