华大智造涌生智能发布Operon-S1:判断从执行中拆出,只换选项顺序时答案翻转率从约37%降到约6%
核心概要
华大智造旗下涌生智能发布Operon-S1,把生物医学AI智能体的关键判断从执行流程中拆出来,由轻量判断模型在13类决策点提醒与复核,执行仍交给ProtoPilot。在750道未参与该轮训练的选择题上,只改变选项顺序时答案随之改变的比例由约37%降至约6%;使用未经本研究训练的LAYA初始版本时,SeqQA成本降低5.8%,但另一组序列推理测试seqqa2得分下降约1.3个百分点。
深度剖析
生物医学AI智能体在多步骤科研任务中的关键判断被单独拿出来检查,而不是混在执行流程里。 同一份基因表达数据换一个筛选阈值,报告的基因清单就可能不同;代码跑通并不等于所用标准符合研究要求。 在一组49道可评分题的生物信息学测试中,原版智能体答错12道,其中5道的正确数值已经出现在运行输出里,最终却选了另一种约定下的答案。
判断被写成有明确选项的问题,由可替换的判断模型作答,再以提醒、要求复核等动作影响执行。 执行侧仍由ProtoPilot负责规划、写代码、运行分析和整理答案,判断系统不接管工具和代码。 判断发生在任务开始、运行过程和提交前的13类决策点,覆盖分析类型、报错原因、证据是否充分等问题;记录分别保留作出的判断、智能体是否采纳以及任务最终结果。
判断能力可以单独训练,但新版本要先过检验门槛才能成为下一轮的起点。 训练标签来自任务构造、验证程序或代码执行,新版本需与上一版本、规则方法对照,并检查模型把握程度与实际表现是否匹配。 在750道未用于该轮训练的选择题上,只改变选项顺序时答案随之改变的比例由约37%降至约6%;一次报错分类判断在CPU上运行的耗时中位数约为0.6秒。
启示与展望
已展示的范围是计算侧:7组测试、1417个任务,涉及序列推理、数据分析与实验方案排错,另有一组探针计算设计与质控分析;探针案例中早于Operon-S1的历史捕获测序数据只作实验参照,实验方案排错测试分析的是方案与失败描述,并非实际操作实验仪器。
研究尚未证明它能在多数测试中同时提高效率、保持成绩:未经本研究训练的LAYA初始版本在SeqQA上成本降低5.8%、在探索性的protocolqa2上执行步骤减少10.3%且两组得分未检测到明显变化,但同一版本在seqqa2上得分下降约1.3个百分点;判断稳定性的提升也不代表整个科研任务的准确率。
