MOF-Verify 用失败感知智能体框架提升 MOF 假设验证,并发布四类诊断基准
作者提出覆盖结构锚定、合成条件验证、证据充分性验证与基于 MLIP 的计算验证四个任务族的诊断基准,并在闭卷、检索增强与 oracle 证据三种设置下定位知识获取、证据获取与推理环节的失败,据此构建失败感知的智能体框架 MOF-Verify,在多个骨干大模型上相较直接推理与检索基线显著提升 MOF 假设验证表现,并公开基准数据集。
作者提出覆盖结构锚定、合成条件验证、证据充分性验证与基于 MLIP 的计算验证四个任务族的诊断基准,并在闭卷、检索增强与 oracle 证据三种设置下定位知识获取、证据获取与推理环节的失败,据此构建失败感知的智能体框架 MOF-Verify,在多个骨干大模型上相较直接推理与检索基线显著提升 MOF 假设验证表现,并公开基准数据集。
作者提出 LUMOS 诊断框架,借助训练语料完全透明的 OLMo 2,把大模型参数知识的分析从只看输出改为沿“训练数据曝光→行为输出”的因果链追踪,发现模型对罕见事实的内部编码可分离度达 84% 却只有 54% 能在行为上表达(该检索差距随规模缩小),自我反思在已训练内容上可靠(83%)但在未见内容上跌至随机基线水平(49%),且该崩塌在思维链提示下依然存在,提示反而抬高置信信号而非改善校准。
该工作指出各向同性高斯正则(SIGReg)会让潜空间欧氏规划代价与任务代价排序不一致,提出 AnisoWM 与 ΛReg:在固定迹与各向异性约束下学习对角协方差目标,仅改变训练期正则、保留原预测目标与欧氏规划器,并在 TwoRoom、Reacher、PushT、Cube 四个视觉控制环境中规划成功率均高于 LeWM,潜代价与任务结果的排序一致性也更好。
已读完全部报道