多智能体协作作为AI生成医学考试题目的互补架构
核心概要
针对Qian等人发现单一大模型能生成可接受的知识型题目但在高阶推理题上表现不足，本文提出将题目开发分解为起草、评审与迭代对抗式修订的专门智能体架构MAID，并在中国国家执业医师资格考试题目的双盲配对评价中，由14位来自7个医学学科的专家对25对匹配选择题共350次题目级观察进行强制二选一比较，多智能体生成题目获得57.7%的专家偏好（95% CI [52.5%, 62.8%]），显著高于单模型基线的42.3%（95% CI [37.2%, 47.5%]；χ²(1)=8.33，p=0.004），配对t检验亦显示专家个体层面一致偏好多智能体输出（均差=3.86，SD=5.12，t(13)=2.81，p=0.0
Fig. 1: The MAID multi-agent item development framework.
PubMed深度剖析
提出MAID多智能体题目开发框架，将命题流程分解为一个Author Agent、三个Reviewer Agent、一个Editor Agent以及可选的图像生成与图像验证Agent，形成“生成→独立评审→编辑综合→修订→再评价”的流程。 相对于Qian等人评估的单模型一次性生成范式，该框架把质量控制拆分为多个专门阶段，使不同失效模式由专门机制处理，而非依赖单一模型的隐式判断。 论文给出架构与角色分工的完整描述，并说明完整提示词与实现细节存放于MAID GitHub仓库；但正文未逐条列出提示词内容。
在双盲配对比较中，多智能体生成题目获得57.7%的专家偏好，显著高于单模型基线的42.3%，且该优势在全部七个学科中方向一致。 这为“单模型在高阶推理题上的边界是架构性而非模型能力上限”这一论点提供了量化证据，而Qian等人的结论主要基于单模型评估。 14位专家、7个学科、25对匹配选择题、350次题目级观察，采用双盲二选一强制选择设计；χ²(1)=8.33，p=0.004，配对t检验t(13)=2.81，p=0.015。
框架将智能体角色与具体语言模型解耦，多个大模型（包括GPT-4o、Claude 3.5、DeepSeek-R1、Qwen、Gemini和MedSeek）被随机分配到不同任务中的智能体角色。 这一设计意在避免单一模型的系统性偏差或知识缺口在流程中不受制约地传递，是相对于单模型命题流程的结构性差异。 论文将其表述为关键设计原则，并说明随机分配跨任务进行；具体分配记录与实现细节见补充材料与代码仓库。
框架整合多模态能力，由专门的图像生成Agent自主判断题目是否需要视觉内容并生成医学相关图像（如X线片、CT、眼底照片），再由独立的验证Agent评估图文语义一致性。 这直接回应了Qian等人指出的当前AI难以可靠生成与考题整合的临床准确图像这一局限。 论文描述了图像生成与验证Agent的模块化设计；正文未报告图像质量本身的独立量化评价结果。
启示与展望
该结果面向医学考试命题与测评开发场景，尤其是需要高阶临床推理与多模态内容的题目类型；其设计意图是让多智能体承担结构性质量控制，从而把人类专家的精力释放到临床判断与教学对齐等更细粒度的环节。框架已开源，便于在不同医学学科与测评情境中复现与适配。
正文提到学科间偏好幅度存在差异，部分学科达到显著、部分仅为正向趋势，具体结果在补充材料中；专家特征、模型与提示词、评价流程细节也主要位于补充材料与代码仓库。图像生成与验证模块的实际质量表现、以及在不同考试体系与更广泛题目类型中的表现，仍有待后续验证。