科学基础模型的能力边界可以自动审计：AutoSPECTRA 在四个生物模型上找出被总分掩盖的失效条件
核心概要
科学基础模型通常只带着聚合基准分数发布，而真正影响使用的性能边界往往要等部署后才由零散报告暴露。AutoSPECTRA 把通用编码智能体的审计过程约束成一套可复现协议：先定义可测量的泛化轴，再在固定参照方法下做受控比较，并在未用于选题的数据上独立确认。在 ESMFold2、STATE、CONCH 和 AlphaMissense 四个生物基础模型上，审计分别把性能变化与蛋白质序列组成及预训练数据亲缘度、训练中扰动的表示、有效空间分辨率、残基层面的基因组与演化结构背景联系起来，也驳回了若干最初看似成立的假设。
深度剖析
科学基础模型的泛化边界现在可以由编码智能体按统一标准自动审计，而不必依赖发布后零散的用户反馈。 此前的泛化研究各自采用不同的比较方式和验证标准，同一类性能模式可能因分析是否区分模型自身弱点与任务本身更难而得出不同结论。 在四个生物基础模型上，审计把性能变化分别对应到 ESMFold2 的蛋白质序列组成与预训练数据亲缘度、STATE 的训练中扰动表示、CONCH 的有效空间分辨率，以及 AlphaMissense 的残基层面基因组、演化与结构背景。
协议把审计拆成五个阶段，由同一个编码智能体依次完成，而不是多个智能体分工。 五个阶段分别是 Distiller、Investigator、Dataset Scout and Fetcher 与 Auditor，它们代表审计步骤而非独立智能体。 Distiller 把问题转成包含目标模型、预测任务、分析单元、性能指标和候选泛化轴的方案；Investigator 在查看目标模型预测之前先测量输入属性、设定至少三个有序层级并固定分析计划，再在同一批样本上运行与目标模型无关的固定参照方法。
审计只有在性能下降经得起替代解释检验、并在未用于选题的数据上复现时才被认定为成立。 在无预设轴和预设分析计划的实验中，智能体虽能提出有文献依据的假设，却没有一次对候选轴做实证检验；在明确要求量化关系并在独立数据上复现后，24 次运行全部完成定量评估，其中 22 次复现了已报告效应。 在 CONCH 的审计中，降低有效分辨率使 CONCH 的 top-1 准确率从原分辨率的 0.803 降到 4.0 μm 像素下的 0.276，而 ImageNet 预训练的 ResNet-50 在相同变换图像上从 0.795 降到 0.564，相对损失分别为 65.6% 和 29.1%。
启示与展望
审计覆盖蛋白质结构预测、细胞扰动建模、计算病理和变异效应预测四个生物领域，每个模型配一个完整审计和若干次独立审计；文献综述意在归纳反复出现的分析做法，而非给出泛化审计的统一定义。
四个案例用于跨领域考察协议，并非审计性能的基准，因此不支持审计灵敏度、特异度或错误发现率的估计；实验也未设计用于分离智能体家族、模型能力或编码环境各自的影响，且前沿智能体的训练历史无法重建，不能排除其事先接触过某个模型、数据集或生物学概念。