SEA-PEFT 在 1/5/10-shot 3D 医学分割中把平均 Dice 提高 2.4–2.8 分，且只训练不到 1% 参数
核心概要
作者提出 SEA-PEFT，把适配器配置当作微调过程中的在线分配问题，用“搜索—审计—分配”循环训练当前激活的适配器、通过临时关闭某个适配器来估计其 Dice 效用、再在参数预算下用贪心背包重新选择激活集合，并以 EMA+IQR 平滑和有限状态机稳定该循环；在 TotalSegmentator 与 FLARE’22 上，1/5/10-shot 设置下平均 Dice 比最强的固定拓扑 PEFT 基线高 2.4–2.8 分，同时训练参数少于 1%。
深度剖析
SEA-PEFT 把适配器类型、插入位置和秩的选择从训练前的人工或离线搜索，改为微调过程中的在线决策：搜索阶段训练当前激活适配器，审计阶段对采样子集做开/关扰动，分配阶段在参数预算下贪心激活。 此前的 PEFT 方法（如 FSEFT、FreqFit）使用固定的单适配器设计，NOAH、AutoPEFT、Fairtune 等离线搜索需要为每个候选配置做完整微调；SEA-PEFT 在单次运行内完成配置选择，无需离线扫描。 论文给出算法流程与目标函数（式 4 的背包形式），并在 TotalSegmentator 与 FLARE’22 上以 1/5/10-shot 设置、3 个随机种子、留出测试集报告 Dice。
用开/关扰动直接测量每个适配器的 Dice 边际贡献，并用 EMA+IQR 两阶段滤波与有限状态机投票机制抑制少样本噪声下的估计抖动。 AdaLoRA 依据奇异值幅度在权重空间重新分配秩，而 SEA-PEFT 的效用估计直接对齐分割评价指标 Dice，且与模型结构无关；EMA+IQR 与 FSM 是针对少样本高噪声场景的稳定化组件。 论文给出 Proposition 1 的 EMA 偏差与方差界、IQR 集中性，以及 Lemma 1 的审计覆盖下界和 Proposition 2 的 FSM 结构误差缩减；实验侧以 30% 激活/70% 非激活采样加 ε-探索实现覆盖。
在 TotalSegmentator 上，SEA-PEFT 取得 78.33/79.90/80.29 Dice（1/5/10-shot），在 FLARE’22 上取得 75.77（1-shot）与 76.33（5-shot），均高于固定拓扑 PEFT 基线。 相对最强固定拓扑基线，平均 Dice 提升 2.4–2.8 分；在 SuPreM 预训练骨干上，5-shot 平均 77.89、10-shot 平均 79.93，且相对最佳固定基线的差距从 5-shot 的 0.88 分扩大到 10-shot 的 3.58 分。 结果来自论文表 1 与表 2，覆盖九个腹部器官、二分类与多分类任务、FSEFT 与 SuPreM 两种预训练权重，均在冻结的 Swin-UNETR 骨干上评测。
端到端搜索—审计—分配加最终重微调在 1/5/10-shot 下分别约需 2.5、4.5、6.5 小时，且始终只训练 0.2% 参数。 论文指出离线搜索方法在 1–10 shot 的审计空间上需要数百次 3D 训练运行，因此作者认为直接比较不可行；SEA-PEFT 的在线设计使每个审计周期只评估少量适配器，计算量随数据而非配置空间增长。 时间与参数比例来自论文表 3，实验在单张 V100 32GB GPU 上完成，图像块为 96×96×96、批大小 1、AdamW、学习率 1e-3、200 轮带早停。
启示与展望
该工作面向少样本 3D 医学图像分割场景，具体是在冻结的 Swin-UNETR 骨干上、以 FSEFT 与 SuPreM 预训练权重、在 TotalSegmentator（二分类）与 FLARE’22（多分类）的九个腹部器官上做 1/5/10-shot 适配。它使没有专职 AI 工程师的临床团队有可能在数小时内完成站点适配，因为配置选择在单次运行内在线完成，且只训练 0.2% 参数。适用前提是存在可用的验证集来提供 Dice 反馈，以及可枚举的适配器候选库（LoRA、AdaptFormer、Affine-LN 及 SA/PA/SAPA 拓扑）。
论文指出 NOAH 与 AutoPEFT 需要为每个候选配置完整微调，在 1–10 shot 的审计空间上需要数百次 3D 训练运行，因此未做直接对比，读者若要判断相对离线搜索的优势，仍需自行评估这一比较缺口。EMA+IQR 与 FSM 的稳定化效果以理论命题与整体 Dice 呈现，超参数（如 β、λS、τact、τrank、µeff）的敏感性未在正文中展开。此外，结果集中在腹部器官与两种预训练骨干，其他解剖区域、成像模态或骨干上的表现属于开放问题。