跳到主要内容
检索

# 失败归因

5 篇关联报道

订阅更新
  1. arXiv

    AskALCF把HPC问答的失败分给具体组件:2174轮里无法归因的失败从41.4%降到14.2%

    面向高性能计算用户支持的智能体系统AskALCF把每次问答的失败归因到知识、检索、提示、模型或工具五类组件之一,而不是只给一个质量分。它在2174轮生产支持对话上把无法归因的失败从41.4%降到14.2%,并在150轮专家标注参考上把与专家的一致数从108提高到123。改进对象是规则、提示和评审策略,模型权重不变,所有面向生产的改动仍由专家把关。

  2. NVIDIA Technical Blog

    英伟达把故障归因工具开源:一次GPU硬故障不再被读成多条NCCL报错

    分布式AI训练里,一处GPU或网络故障会在其他rank上引发NCCL报错、调度状态变化和大量下游消息,而异常只显示作业停在哪里。英伟达将内部使用的Attribution归因工具开源,它按作业范围汇集日志、指标、遥测和调度状态,用确定性规则区分下游症状与根因,并返回结构化诊断。在一个多rank训练示例中,它把node-02上的XID 149判为NVLink信号完整性问题的根因,把其他rank的NCCL报错保留为症状,并将作业判为硬件故障。

  3. arXiv

    EMFA用错误传播建模定位多智能体失败的决定性错误,在Who&When上把步骤级归因准确率提升3.45与4.40个百分点

    该工作提出EMFA,将失败的多智能体执行轨迹重构为结构化依赖表示,显式建模级联错误传播与持续交互循环,经双分支候选筛选与反事实验证定位“决定性错误”(即修正后能恢复失败执行的智能体–步骤对);在Who&When基准上取得最优步骤级归因准确率,较此前最佳在Hand-Crafted与Algorithm-Generated子集上分别提升3.45与4.40个百分点,智能体级准确率在Hand-Crafted子集最优、在Algorithm-Generated子集保持竞争力。

  4. arXiv

    ReCast 将冻结 LLM 隐状态转为归因导向步骤表示,在四个失败归因基准上取得最高 Hit@1

    该工作先量化发现文本嵌入与隐状态对根因步骤的区分度有限,随后提出 ReCast:用归因感知探针选层、稀疏 Johnson–Lindenstrauss 投影构造模式与偏差双分支特征,再用对比与排序目标训练双向编码器,把冻结 LLM 隐状态转成归因导向步骤表示,并发布 ReCast-2K 训练集;在 Who&When、TraceElephant、AFTraj-2K、Who&When Pro 四个基准上 Hit@1 均最高。

  5. arXiv

    AED 把 50,228 条失败轨迹变成错误—诊断对:首次修正让验证器通过率从 18.4% 升到 51.1%,全诊断微调把 Qwen3-8B 的步级一致率从 47.2% 提到 63.6%

    该工作构建了 Agent Error Dataset(AED),包含来自 33 个环境、19 个 harness 家族和 23 个策略模型的 50,228 条错误—诊断对,并用五阶段 Agentic Error-to-Training(AET)流水线把自然失败连到诊断、修正建议与可选回放证据;在 3,062 对匹配回放中,首次提出的修正把验证器通过率从 18.4% 提升到 51.1%(+32.7 个百分点),在单独冻结的诊断发布上做全诊断微调,使 Qwen3-8B 与内部教师标签的精确步一致率从 47.2% 升至 63.6%(三个种子、943 例留出集平均),而单种子的 actor 训练对比中,仅动作修复训练在 WebShop-lite 上比仅成功训练

已读完全部报道