智能体做因果实验不再只看答案:ACED-Bench用隐藏概率图打分,180道硬题拉开模型差距
ACED-Bench把自然语言科学场景与隐藏概率图模型分开,让智能体在四轮预算内自己选观测或干预实验并给出因果答案,180道硬题上各模型与智能体设计差距明显,而150道资格题上强智能体接近满分。
ACED-Bench把自然语言科学场景与隐藏概率图模型分开,让智能体在四轮预算内自己选观测或干预实验并给出因果答案,180道硬题上各模型与智能体设计差距明显,而150道资格题上强智能体接近满分。
研究者提出SafeActBench,包含656个案例、覆盖六个运营领域与五种协议,用来源绑定的证据账本和确定性轨迹评估器检查工具智能体在行动前是否已建立所需证据;在十种模型–执行框架组合上,静态行动判断可以很强,而交互式执行明显更弱,失败常源于调查不完整或过早行动,一旦证据齐备,单步执行通常可靠,多步工作流则还暴露出未解决的前置条件与执行不完整。
已读完全部报道