K-MaT 用最优传输对齐提示流形,在无低端训练图像条件下把医学视觉语言模型迁移到低端模态
K-MaT 是一个提示学习框架,通过分解提示、将其锚定到临床文本描述,并用 Fused Gromov-Wasserstein 最优传输把低端提示流形对齐到视觉接地的 高端空间,从而在不需要低端训练图像的情况下把决策结构迁移到低端模态;在四个跨模态基准(含皮肤镜、乳腺摄影到超声、CT 到胸片)上取得最优结果,平均准确率调和均值从 BiomedCoOp 的 42.0% 提升到 44.1%,宏 F1 达 36.2%,并在乳腺成像任务上缓解了 CoOp 在低端跌至 27.0% 准确率的灾难性遗忘。