智能体做因果实验不再只看答案：ACED-Bench用隐藏概率图打分，180道硬题拉开模型差距
核心概要
ACED-Bench把自然语言科学场景与隐藏概率图模型分开，让智能体在四轮预算内自己选观测或干预实验并给出因果答案，180道硬题上各模型与智能体设计差距明显，而150道资格题上强智能体接近满分。
深度剖析
评估对象从“答得对不对”变成“会不会做实验”：智能体要自己决定请求哪些观测或干预样本，再据此给出因果结论。 此前的因果推理基准通常把证据直接以文本、图或固定数据集给出，科学智能体基准则侧重工具使用与多步探索，很少同时要求主动选实验并在形式一致的世界里做因果决策。 ACED-Core主榜含180道四轮任务，其中60道集合型因果祖先/后代问题、120道受限因果决策题；同一隐藏概率图接口下另设150道是/否资格题ACED-Qual。
世界由语言层和形式层分工生成：语言模型写变量名、场景和题面，程序端负责建图、采样条件概率表、定义干预语义、校验并计算标准答案。 这样答案不靠人工标注，而是由已知的完整概率图模型程序化算出，生成的世界还要通过效应量、阈值间隔和并列容差等校验才会被接受。 评测覆盖七个当代模型（Claude Opus-4.6、Claude Sonnet-4.6、Gemini-3-Pro、DeepSeek-V4-Pro、Qwen3.6-27B、GPT-OSS-120B、Llama-4-Maverick）与两个早期参考模型，跨三种主动智能体设计。
最终准确率会掩盖调查过程里的瓶颈，证据账本把失败定位到具体环节。 在3579条模块化主动代码轨迹中，失败常发生在最终回答之前：有的从未算出目标因果对比的强证据，有的算出了却没保留，有的在证据已足够后仍继续查询。 账本按轮判断是否算对了目标估计量、证据是否支持标准答案、证据是否充分，三项同时成立才记为强证据，由此区分实验选择、证据保留、忽略证据和多余轮次。
启示与展望
当前基准使用全观测分类概率图模型和已知干预语义，覆盖八个主题领域，主榜为四轮预算下的180道ACED-Core任务，资格检查为150道ACED-Qual问题。它面向评估被提议为科学助手的AI系统，适合在受控合成世界中比较智能体的实验选择与因果决策；若后续扩大发布，可按领域、图结构、决策原型和失败模式做更细分析。
基准尚未覆盖连续变量、潜在混杂、时间动态、测量误差、选择效应、模型误设和开放式实验设计。场景是合成的，因此在这些隐藏概率图世界中的成功不应被读作真实科学或政策场景的部署就绪；证据账本仍是诊断分析，基准分数是固定交互预算下的最终答案准确率。