流畅定义不等于可用：智能体质检把DO 2024实体错误率从67.0%降到37.8%
核心概要
生物医学本体需要不断为新类补写文本定义，而大模型写出的定义即使读起来流畅、与参考定义接近，也可能引用本体中不存在的实体或违反逻辑约束。为此，一套智能体质检流程把定义生成改为迭代过程：先写定义，再抽取谓词—对象公理，检查实体能否在本体中落地，并用推理机检验逻辑一致性，失败则带着诊断信息重写。在疾病本体DO 2024上，Qwen2.5-14B基础模型经存在性修复循环后，实体错误率从67.0%降到37.8%，而文本相似度指标基本持平。
深度剖析
本体定义生成被当作知识兼容性问题处理，而不只是文本生成问题：一条定义要进入本体库，其中的实体必须能对应到本体标识符，隐含的关系必须能解析，生成的公理还必须与既有约束相容。 此前评估主要看生成文本与参考定义的词面或语义接近程度，例如ROUGE、BLEU、BERTScore和句向量余弦相似度，这些指标不反映内容能否在目标知识系统中落地。 在疾病本体DO 2024上，Qwen2.5-14B基础模型直接生成时Token F1为0.283、余弦相似度为0.664，但实体错误率高达67.0%，说明文本分数与本体兼容性可以明显脱节。
流程把定义生成拆成生成、公理抽取、实体存在性检查、推理检验和定向修复几步，每一步的工具输出都作为下一步的输入。 直接解码只产出一次文本，没有机会在合并进本体之前发现并纠正无法落地的实体或冲突公理。 在DO 2024、DO 2025和Uberon-Constraint-Stress三个测试设置上，Qwen2.5-14B基础模型经存在性循环后实体错误率分别从67.0%降到37.8%、从55.1%降到31.8%、从52.3%降到2.5%。
逻辑不一致率单独统计那些实体已落地、但合并后使类不可满足的候选，暴露出文本相似度看不到的本体级失败。 实体检查通过并不代表公理与不相交性、部分关系或定义域/值域约束相容，这类失败稀疏且缺少局部诊断信息。 在Uberon-Constraint-Stress上，Qwen2.5-14B经LoRA微调后仅开存在性循环时逻辑不一致率为2.95%（28/950），加上逻辑循环后降到0.42%（4/950），但整体降幅小于实体错误率的降幅。
启示与展望
评估覆盖疾病本体DO的2024与2025增量发布、Uberon的2024与2025增量发布，以及从Uberon 2023发布中挑出的973个涉及强约束术语构成的Uberon-Constraint-Stress压力集；推理检查使用ELK，实体解析使用本地本体索引并可选OLS4查询。
逻辑循环带来的不一致率下降比实体错误率下降更小也更不稳定，部分设置下LoRA模型在修复后仍保留非零实体错误率，例如Llama-3.1-8B在Uberon 2024、Uberon 2025和Uberon-Constraint-Stress上分别为5.2%、8.9%和6.1%；DO 2023发布中11,454个活跃术语只有26个涉及DisjointFrom等强约束公理，因此DO对逻辑不一致的检验能力有限。