医疗AI考试接近满分，进电子病历干活却完不成一半：两项执行型基准给出同一方向
核心概要
医疗AI的评测正从答题转向在真实工作环境里动手。此前执照考试接近满分，却无法说明能否跨病历、文档与软件系统完成多步任务。斯坦福团队用电子病历沙箱和模拟行政门户分别测试临床与行政流程，最好的智能体单次完成率分别为46%和36.3%，失败多因信息在步骤间丢失。
深度剖析
医疗AI的评测对象从单次问答转向在电子病历和行政门户中连续执行多步任务，衡量的是环境里实际发生了什么变化。 此前的评测以执照考试和单轮提示评分为主，只能说明模型能否给出正确答案，无法说明它能否打开病历、核对旧检查、下单并写记录。 两项独立构建、以执行结果为判据的基准——临床侧的PhysicianBench与行政侧的HealthAdminBench——都显示当前最好的智能体完成不到一半的工作，这一方向性结论不依赖两者数字的直接比较。
PhysicianBench把真实会诊改写成需要平均27次工具调用的长程任务，在合成病历沙箱中运行，由脚本核对医嘱是否真的进入记录。 单轮评分只看模型写出的文本，而这类任务的关键在于第7步是否发生，因此改用任务专用脚本检查记录中的实际订单，推理与记录文本另由模型评判。 100个任务取自初级保健医生与专科医生之间的真实会诊，覆盖21个专科，由独立医生小组逐条复核，共670项检查；12个模型中最好的GPT-5.5单次完成46%，三次运行全部正确执行的比例为28%。
HealthAdminBench把账单、授权与申诉等后台流程搬进四个模拟网页环境，智能体像人一样通过截图、点击和输入来操作。 行政与工作流正是MedHELM中得分最低的类别，而这类工作此前没有可执行的环境可供评测。 团队在斯坦福医疗观察行政人员超过100小时，据此搭建电子病历、两个付款方门户和传真系统；135个任务配1698个验证器，最好的Claude Opus 4.6端到端完成36.3%，GPT-5.4单项子任务通过82.8%但整任务只完成26.7%。
启示与展望
这组评测面向医疗AI的采用决策者与智能体开发者，覆盖临床决策支持、临床记录、患者沟通、医学研究辅助和行政工作流五类任务。PhysicianBench在合成重建的病历沙箱中运行，HealthAdminBench在模拟的电子病历、付款方门户与传真系统中运行，患者数据均为合成数据，环境与排行榜公开。两项基准的完成率数字因环境、模型集合、接口和评分方式不同而不可直接比较，可支持的只是方向性判断。MedHELM以Apache 2.0许可开放，团队邀请各方贡献针对具体工作流的基准。
完成率数字来自各自设定的模型集合与运行次数，GPT-5.5的三次运行一致性只有28%，说明单次成绩波动明显。失败检查点中约一半归因于临床推理不完整，多为推理缺环与接近正确，明确错误的结论较少。行政侧智能体很少回头修正前一步，并会耗尽预算。把改进寄望于智能体架构与记忆，是作者给出的方向判断，而非已验证的结论。