跳到主要内容
返回时间线
bioRxiv来源发表:

古微生物组分析有了带边界的智能体:24次冻结测试通过23次,每次运行都能回放

核心概要

古微生物组数据稀缺、易污染,让语言模型直接规划分析时,它可能引用不存在的文件、套用格式不允许的操作,或回答数据无法支撑的问题。PaleoRigor把语言模型规划器限制在预定义本地模块内,运行前校验文件引用、格式与步骤依赖,并对越界请求给出具名理由码,同时保存计划、中间文件、校验和与决策记录。在预先注册的冻结留出评测中,它通过24次运行中的23次(95.8%),其中12次边界决策全部正确;同一模型去掉规划契约后通过19次。

Source-provided article image: PaleoRigor: a bounded research agent with a reproducible evidence trail for paleomicrobiome data processing
Figure 1 · bioRxiv · 第 3 页

深度剖析

古微生物组分析的第一步——选对文件、确认本地副本、选对操作并记录改动——现在可以由一个受约束的语言模型智能体起草成显式工作流,再由古生物学家审阅后执行。 此前的通用工作流引擎要求用户自己指定输入和操作,而语言模型智能体虽能把请求直接转成这些选择,却可能引用不存在的文件、套用格式不支持的操作,或断言数据无法支撑的结论。 在冻结的留出评测中,PaleoRigor通过24次运行中的23次(95.8%,Wilson 95%置信区间79.8–99.3%),包括12次支持性运行中的11次和12次边界决策中的12次;同一模型去掉规划契约的消融组通过19次(79.2%)。

约束层在计划真正运行前拦截错误:校验器检查每个文件引用、格式和步骤依赖,执行器只调用预定义本地模块,规划契约则要求智能体对越界请求给出具名理由码而不是作答。 没有这层约束时,规划由模型生成而非人工撰写,错误难以事后追溯;通用工作流引擎也不记录每一步为何被选中。 在冻结评测中,唯一一次支持性运行失败是规划器漏写了上传文件引用的.tsv后缀,校验器在执行前将其拒绝;边界决策在PaleoRigor组为12/12,在消融组为10/12。

每次运行都导出计划、中间文件、校验和与决策,使结果可以在不再次调用模型的情况下从记录重算。 一次仅仅跑完的运行只能说明软件做了某件事,无法说明它作用于哪条公共记录、改动了什么。 两个模型配置共96次运行的标签全部从保留记录独立重算并吻合;六条公共测序记录的读数与压缩文件大小与ENA/SRA元数据一致(Δreads = 0,Rbytes = 1),肽表从5,810行去除114条重复后导出5,696条唯一记录。

启示与展望

评测覆盖工作流执行、记录下来的数据变换以及与公共库元数据的一致性;古DNA真实性认证和生物学解释不在范围内,仍由古生物学家负责。所有报告结果均在macOS上产生,Windows构建只经过自动化构建与工具身份检查。

比较是同一模型上移除PaleoRigor自身规划契约的消融,每臂24次运行,两个配对比较均未达到统计显著(McNemar p = 0.219 与 0.0625),因此不支持关于陌生任务类型、其他模型提供方或相对既有工作流实践性能的结论。元数据层面的一致性不能排除读数与压缩长度相同而内容不同的文件,公共测序文件未保留,校验和未重算。打包应用是否改善古生物学家的可用性仍待独立用户测试。