大模型不看一张图就写出医学影像分类器,但256张标注图仍全面胜出
核心概要
Claude Opus 5.5 与 GPT-6 Astra 在单次回复中直接写出一个小型卷积网络的权重,全程不接触任何图像,在六个 MedMNIST 任务上平均测试 AUC 分别为 0.719 和 0.711,均高于零样本 MedSigLIP 的 0.588。但同一网络用 Adam 在 256 张标注图上训练后平均 AUC 达 0.828,在每个 MedMNIST 任务上都更高;在合成子宫 MRI 任务上 Opus 为 0.764,Astra 因系统性错误跌到 0.136。
深度剖析
大语言模型可以仅凭医学知识,在一次回复里写出可用的医学影像分类器权重,不需要任何标注图像。 这类分类器通常依赖昂贵的标注图像,而标注往往难以获得;此前的权重预测器本身要从数据中学习,这里写权重的是通用大模型。 两个模型写出的网络在全部六个 MedMNIST 任务上高于随机水平,平均测试 AUC 为 Opus 0.719、Astra 0.711,并在其中五个任务上超过零样本 MedSigLIP。
写出的网络由两部分组成:第一层卷积核构成可检测的图像特征库,输出层的权重图说明每个类别在图像哪个位置把哪种特征当作证据。 模型在回复中先说明设计再写出权重,例如把滤波器偏置设成只对某段灰度响应,并用区域与参考的对比抵消整体亮度。 评测覆盖胸部 X 光、乳腺超声、腹部 CT 三个方向的切片和盆腔 MRI 共 7 个任务,每个模型独立调用三次,结果在三次之间基本一致。
写出的权重与梯度下降学到的权重呈现系统性差异:取值稀疏、离散,滤波器接近教科书算子。 同一架构用 Adam 在 256 张标注图上训练后,权重是平滑混合的模式,证据分散在整幅图像上。 Opus 写出的网络有 22%–94% 的权重恰为零,每个网络只用到 8–145 个不同取值;在肺炎和乳腺病灶任务上,其证据图与 Adam 网络的相关分别为 0.41 和 0.73。
启示与展望
演示范围限于约千级参数的单卷积层 ProgNet 和 7 个任务:六个 MedMNIST 任务加一个合成子宫 MRI 二分类任务,图像与网络都小到能放进一次 128k 输出的回复。读者应把它看作无标签条件下的可行性证据,而不是可部署的临床分类器。
MedMNIST 自 2020 年起公开,可能已进入模型训练数据,两个模型也确实引用了未在提示中给出的类别比例;SynthUterus 较新,暴露可能性低但未排除,其图像为合成、仅 293 张,屈曲标签来自二维切片并带有噪声。研究只测了两个模型和一个提示,提示未描述图像布局,Astra 对布局的错误猜测使其在该任务上反转。
