肺癌筛查CT报告患者提问有了回答系统:多智能体先规划再执行,越界问题九成二转给医生
核心概要
肺癌筛查CT结果的患者提问,现在由一个规划器加执行器的多模态智能体系统来回答。此前通用大模型只能处理文字报告,无法调用影像工具,也不会判断哪些问题该交给医生。系统在116份筛查CT报告和699个模拟患者提问上,工具调用准确率93.1%,把超出范围的问题正确转交医生的比例为92.6%,均显著高于单智能体基线;四名医生对100条回答的评分中,可回答问题有78.9%在临床准确性上拿到满分。
患者拿到肺癌筛查CT报告后提出的问题,可以由一个会调用影像工具、并会把部分问题转交医生的多模态智能体系统来回答。 此前的通用大模型方案只能做患者友好的报告改写或回答一般性筛查问题,不能把专用影像工具接进来;已有的医疗智能体多用于临床决策或诊断任务,而不是患者沟通。 在116份来自三级学术医院的肺癌筛查CT报告与影像上,系统整体工具调用准确率为93.1%(646/694,95%置信区间91.2%–95.0%),单智能体基线为78.5%(545/694,75.5%–81.4%),各多智能体变体均显著更高(P<.001)。
系统把患者提问拆成先规划、后执行的流程,规划器判断该调用哪个工具或该不该转交医生,执行器再按计划取影像、查指南、写回答。 规划与执行分开,使逻辑判断和内容生成各由一个智能体负责,从而留出专门的核查环节。 两个智能体都由符合HIPAA的GPT-4o驱动,执行器可调用一个Python切片检索函数和开源分割模型TotalSegmentator,并参照Lung-RADS v2022指南;规划器与执行器均采用少样本提示时表现最好,规划器提示策略的变化对准确率影响大于执行器。
系统会主动把需要患者个人病史、预后或信息不足的问题转交医生,而不是自行作答。 单智能体基线在同样的转交判断上准确率为64.7%(323/499,60.5%–68.9%),多智能体架构显著更高。 在499条文本类回答上,由LLM-as-a-judge判定,整体自我调节准确率为92.6%(462/499,90.2%–94.8%);对可回答问题召回率99.6%,对转交医生问题精确率99.5%。
四名医生对回答的临床质量做了评分,可回答问题和转交医生问题在临床准确性上接近。 评分覆盖事实性、简洁性、患者可理解性,可回答问题另评全面性,转交医生问题另评与提问的相关性。 在按比例抽取的100条回答中,可回答问题有78.9%(180/228)在临床准确性上获得全体评分者一致的满分5.0,患者可理解性为73.2%(167/228);转交医生问题临床准确性为77.3%(133/172),与可回答问题无显著差异(P=0.715),简洁性为47.1%(81/172),低于可回答问题(P=0.027)。
系统在116份肺癌筛查CT报告和699个模拟患者提问上完成评估,其中工具调用分析排除5条参考标准存在歧义的样本,医生评分覆盖按比例抽取的100条回答。适用场景是肺癌筛查结果的患者沟通,作者提出可将其作为独立工具并配合相应监管保障,或与放射科医生、筛查团队临床人员协同使用。作者提出的下一步包括直接从患者处收集更广泛的问题、加入多轮追问能力、接入结节检测等更多工具,以及把规划器-执行器框架扩展到其他医学影像领域和临床沟通流程。
评估使用的是LLM辅助生成的模拟患者提问,并非直接来自患者,因此难以覆盖真实临床中需要进一步澄清的模糊提问。系统尚未具备多轮对话能力,无法就模糊问题追问。转交医生类回答的简洁性满分比例低于可回答问题,作者解释为系统在转交前先给出相关临床背景,导致回答更长。错误分析显示工具调用错误多为切片编号不准或分割到无关解剖结构,自我调节错误包括对患者个体化治疗作出绝对化表述,以及轻微误读Lung-RADS指南或相关医学术语。