跳到主要内容
检索

# 失效模式分析

2 篇关联报道

订阅更新
  1. arXiv

    物理智能体考卷换成完整课题:56个真实项目,最强配置168次只过46次

    FrontierPhysics把物理智能体的评测从固定问答和给定解法的论文复现,换成由42位物理学家依据自己研究设计的56个端到端课题,覆盖理论、计算与实验物理九个方向。智能体只拿到类似导师给的高层指令,要自己查文献、定计划、做计算或实验,并同时交出可确定性核验的数值结果和一份论文稿。22个模型、26种配置中没有任何配置在168次运行里通过超过46次,人工审阅轨迹显示主要短板是推理不够严谨和缺少专家直觉,而不是物理知识不足。

  2. arXiv

    数据科学智能体多数解出答案却踩了方法坑:220个任务里,数据泄漏越多,预测分数反而越高

    对220个数据科学任务的评估显示,多数智能体方案至少含一种方法性失败,且数据泄漏出现得越多,预测性能反而越高,说明只看准确率会漏掉方法问题。

已读完全部报道