跳到主要内容
返回时间线
arXiv来源发表:

神经影像有了会对话的专用模型:Neuro-VL在17组任务中16组胜过GPT-5.4,还能顶住误导性提问

核心概要

Neuro-VL 是一个在近百万例常规临床神经影像检查上训练的视觉语言模型,能对完整检查做定位、描述、诊断和报告生成,并与使用者用自然语言讨论所见。研究在内部与24个国际公开数据集构成的NeuroBench上比较了它和GPT-5.4、Gemma 4及神经影像专用模型NeuroVFM:在17个任务-数据组组合中,Neuro-VL有16组优于GPT-5.4和Gemma 4,17组全部优于NeuroVFM,等权平均分别高出15.9、16.9和23.0个百分点。模型还被进一步微调出可比较前后两次检查的纵向版本,并在嵌入错误诊断或部位的提示下比GPT-5.4更少改口。

AI-generated editorial illustration: A frontier machine intelligence for human neuroimaging

深度剖析

神经影像的机器判读从单点分类扩展到整份检查的交互式解读:模型可以定位异常、描述影像特征、给出诊断并生成完整报告,还能就同一份影像与使用者对话。 此前的医学模型多针对受限任务,通用大模型又接触不到临床私有影像;该团队早先的健康系统模型只在检查分诊上显示出优于互联网规模前沿模型。 在涵盖内部MRI与CT、MR-RATE、CTRG、20个公开脑MRI数据集以及CQ500和RSNA的NeuroBench上,Neuro-VL在17个任务-数据组组合中有16组优于GPT-5.4和Gemma 4,17组全部优于神经影像专用模型NeuroVFM,等权平均分别领先15.9、16.9和23.0个百分点。

模型先写出本次检查包含哪些扫描及其影像特征,再给出把所见对应到具体扫描的推理轨迹,最后才给答案,因此回答被要求锚定在输入影像上。 早期迭代中,评估者发现回答对提问措辞和选项文字敏感,提示直接监督答案可能让模型走语言捷径而非看图;后续又发现模型会描述并未提供的扫描类型。 训练数据由约74万条视觉指令样本构成、合计23亿token,问题与回答由GPT-5系列模型依据放射科报告生成并经专家反馈迭代;加入影像陈述与推理轨迹后训练损失下降,分布外表现改善。

纵向版本把当前检查与既往检查一起读入,用于判断病灶变化、疾病演变和两次检查之间的干预及其影像改变。 单次检查的判读无法区分新发病变与长期存在的异常,而比较既往影像是放射科解读的常规环节。 在由734对当前-既往检查、2294个问题与报告任务构成的纵向基准上,Neuro-VL-Longitudinal在变化刻画和疾病轨迹评估上分别达到87.5%和96.9%准确率,高于对应任务表现最好的GPT-5.4的81.6%和86.5%;干预刻画为80.3%,高于表现最好的Gemma 4的68.9%。

模型被训练去纠正用户提问中不成立的假设,从而在提示暗示存在病变或给出错误诊断、错误部位时仍按影像本身作答。 在高风险临床场景中,交互式系统可能过度采信用户提供的假定诊断或暗示性病史,而牺牲客观影像所见。 在320例报告为正常的检查上,提示假定存在病变时Neuro-VL成功率为95.6%,GPT-5.4为64.1%;在246例有专家标注的脑MRI上,把正确诊断换成错误诊断后Neuro-VL成功率由95.1%降至90.2%,GPT-5.4由99.6%降至44.5%。

启示与展望

已展示的范围是密歇根医学院1995至2025年常规临床采集的神经影像数据训练,以及在内部留出集和24个国际公开数据集上的回顾性评测,覆盖定位、特征描述、诊断、报告生成、纵向比较和误导性提示下的稳健性;作者提到一项临床医生与Neuro-VL的交互研究正在进行,并计划开展前瞻性评估以确认真实世界安全性、泛化性与临床效用。

作者明确列出若干限制:Neuro-VL目前不具备智能体能力,例如独立检索额外患者数据、查阅指南、使用工具和迭代核验;模型在密歇根医学院开发,评测虽覆盖国际公开数据集但均为回顾性,无法完全刻画临床人群、采集协议或工作流变化下的表现;生成的推理轨迹与注意力可视化让输出更易检查,却不能证明所报理由忠实反映模型内部计算,仍需更好的机制可解释性方法把回答与输入token对应起来。