物理智能体考卷换成完整课题：56个真实项目，最强配置168次只过46次
核心概要
FrontierPhysics把物理智能体的评测从固定问答和给定解法的论文复现，换成由42位物理学家依据自己研究设计的56个端到端课题，覆盖理论、计算与实验物理九个方向。智能体只拿到类似导师给的高层指令，要自己查文献、定计划、做计算或实验，并同时交出可确定性核验的数值结果和一份论文稿。22个模型、26种配置中没有任何配置在168次运行里通过超过46次，人工审阅轨迹显示主要短板是推理不够严谨和缺少专家直觉，而不是物理知识不足。
深度剖析
物理智能体的评测对象从封闭题目变成一整段研究流程：查文献、写研究计划、执行研究、给出结构化数值输出和论文稿。 此前的物理基准多考固定问题、孤立子任务，或在给出原论文的前提下做复现，研究问题与解法结构大多事先给定。 56个课题由42位物理学家从自己做过至少两周的项目中改写而来，来自26个机构的9个物理方向，其中18个课题的原始研究已发表，4个基于Nature论文。
判定一次运行是否通过，要同时过数值核验和专家写的评分表两道关。 只靠确定性答案的题目容易被模型刷满而失去区分度，只看论文文本又无法确认结果对不对。 确定性核验脚本检查计算量、模拟输出等结构化结果，评分表分阻断项与非阻断项，阻断项为二值门槛，非阻断项按0、1、2三级打分并带1到10的权重，任一阻断项或核验失败即不通过。
前沿模型在完整物理研究上仍普遍失败，且失败原因不在物理知识。 在全部56个任务上，所有被测智能体的总体通过率都低于30%。 Claude Opus 5.5在Claude Code CLI中通过率最高，为27.4%，168次运行通过46次；对168次GPT-6 Astra运行的逐条人工标注中，推理不严谨占48%，缺少物理直觉占34%，文献综合占27%。
启示与展望
评测对象是FrontierPhysics v0.1的全部56个任务，智能体在统一10小时上限的沙箱中运行，资源需求高的任务可调用GPU；失败模式的人工标注只覆盖GPT-6 Astra的168次单智能体运行。
作者指出，评分表与核验脚本仍可能存在缺陷，人工复核发现168次运行中有9次属于误判失败，会使通过率被低估；不同模型或模型与工具组合的失败方式可能落在该分类之外，因此误判修正只针对GPT-6 Astra。各物理方向任务数少，方向间差异不确定。