VA-Adapter 让超声基础模型学会心脏探头导航,训练参数减少约33倍且误差低于强基线
该工作提出 Vision-Action Adapter(VA-Adapter),将其插入超声基础模型(EchoCLIP、USFM、BiomedCLIP)冻结的图像编码器深层,通过编码历史“图像-动作”序列在线注入个体三维心脏结构理解能力,在178名成人、356条专家扫描轨迹、131万图像-动作对的数据集上,以约2.61M–3.97M可训练参数取得优于强探头导航基线的平移与旋转平均绝对误差。
1 篇关联报道
该工作提出 Vision-Action Adapter(VA-Adapter),将其插入超声基础模型(EchoCLIP、USFM、BiomedCLIP)冻结的图像编码器深层,通过编码历史“图像-动作”序列在线注入个体三维心脏结构理解能力,在178名成人、356条专家扫描轨迹、131万图像-动作对的数据集上,以约2.61M–3.97M可训练参数取得优于强探头导航基线的平移与旋转平均绝对误差。
已读完全部报道