AskALCF把HPC问答的失败分给具体组件：2174轮里无法归因的失败从41.4%降到14.2%
核心概要
面向高性能计算用户支持的智能体系统AskALCF把每次问答的失败归因到知识、检索、提示、模型或工具五类组件之一，而不是只给一个质量分。它在2174轮生产支持对话上把无法归因的失败从41.4%降到14.2%，并在150轮专家标注参考上把与专家的一致数从108提高到123。改进对象是规则、提示和评审策略，模型权重不变，所有面向生产的改动仍由专家把关。
深度剖析
AskALCF把HPC用户支持中一次失败的问答拆成可派工的原因：缺文档、检索没取到、提示不当、模型答错或工具调用失败，每一类对应一个能动手修的团队。 此前的HPC问答系统主要输出答案，质量评估只给出一个分数，无法说明该由谁修改什么。 在1229个会话、2174轮已评分对话上，规则树在改进前有900轮（41.4%）无法归因，改进后为309轮（14.2%），可归因轮次从924升到1295。
归因靠两处检索判断分开：生产检索返回的段落是否够用，以及所需信息是否存在于整个文档库中。 只问“检索够不够”会把文档缺失和检索失败混为一谈，而这两件事分别由文档作者和检索工程师处理。 规则树按28条有序规则先判工具与服务故障，再判设施范围与澄清，然后才用充分性判断分流；在150轮专家标注参考上，与专家的一致数从108/150升到123/150，会话不重叠的52轮评测子集从35/52升到40/52。
诊断流程的改进对象是规则树、评审技能和覆盖门控这套外围软件，而不是模型参数。 此前的自改进系统多更新内部记忆或直接优化提示，缺少固定参考和对照来区分真实改进与随机波动。 16个改进臂对照冻结的专家参考，3个被接受、9个被拒绝；语义中性的空编辑在两个重复中仍分别改动171条路由中的9条和11条，因此只有预登记目标改善且对照稳定时才接受改动。
启示与展望
演示范围是Argonne Leadership Computing Facility的Polaris与Aurora两套系统上的生产问答与工单流程，诊断结果由专家复核，修复效果在离线重放实验中测量。系统尚未把任何生成的知识改动合并进部署语料并重新索引，五个失败路由中有三个没有走通端到端修复路径。
全部标注数据来自ALCF，150轮参考中约三分之二只有一名专家标注，类别分布不均衡使模型、unknown和tools_mcp等稀有路由的单项估计不可靠。门控策略比较是唯一的智能体与确定性方法对照，每项修复研究只代表一次实验，空臂只估计运行间波动，不能替代重复独立试验。