跳到主要内容
返回时间线
arXiv来源发表:

IMaX 用 Tsallis α-熵替换互信息中的边际熵项,在长尾半监督域泛化下把 ESCA 与视网膜数据集准确率最高提升 7.3 个百分点

核心概要

该工作指出 FBCSA 与 DGWM 等半监督域泛化方法在长尾类别分布下性能显著下降,提出 IMaX:在带标签样本监督约束下最大化特征与潜在标签的互信息,并用 Tsallis α-熵替代标准边际熵项以放宽类别均衡假设;在 ESCA 组织病理与视网膜糖网分级两个模态、三种 SSL 框架与三种 SSDG 方法上,IMaX 在除一个设置外的所有设置中提升准确率,低标注情形(mL=5)最高提升 7.3 个百分点。

AI-generated editorial illustration: Information Maximization for Long-Tailed Semi-Supervised Domain Generalization

深度剖析

论文提出长尾半监督域泛化(long-tailed SSDG)这一更贴近现实的设定:每个源域只有少量带标签样本、大量无标签样本,且带标签样本的类别分布呈指数衰减的长尾形态。 此前的 SSDG 工作(FBCSA、DGWM)默认各源域类别分布均匀,论文通过实验显示在长尾分布下这些方法性能大幅退化,从而把类别不均衡显式纳入 SSDG 问题定义。 论文给出 ESCA 与 Retina 上均匀分布与长尾分布的准确率对比(Fig. 1 左),并说明不均衡由超参数 γ 控制、实验中设为 γ=10。

论文提出 IMaX 目标:在带标签样本满足 yi=pi 的约束下最大化互信息,并把无监督的条件熵项替换为弱增强伪标签引导强增强预测的伪交叉熵,从而得到半监督视角的互信息分解。 以往互信息最大化多用于深度聚类、少样本学习等场景,论文将其改造为带显式监督约束的 SSDG 形式,并指出直接优化条件熵易导致所有样本映射到单一类别的退化解。 论文给出从 Eq. 2 到 Eq. 6 的逐步推导,并在 ESCA 上做消融:仅加入该半监督互信息项即从 61.0 提升到 66.0(mL=5)与从 69.2 提升到 72.6(mL=10)。

论文用 Tsallis α-熵 Hα(Y) 替代标准边际熵 H(Y),把边际熵写成与均匀分布的 KL 散度后推广为 α-散度形式,从而放宽对类别均衡的强偏置。 标准边际熵会把预测的边际分布推向均匀,隐含类别均衡假设;α-熵允许边际分布偏离均匀,更适合不均衡场景,且当 α=1 时退化为原式。 ESCA 消融显示,在已加入半监督互信息项的基础上换成 Hα 后进一步提升到 68.3(mL=5)与 73.1(mL=10);α 由验证集选取(ESCA 取 1.5,Retina 取 2),Fig. 2 显示验证与测试准确率随 α 变化趋势高度一致。

IMaX 是模型无关、即插即用的目标,可叠加到 Baseline、FBCSA、DGWM 三种框架与 FixMatch、FreeMatch、StyleMatch 三种 SSL 方法上,在 ESCA 与 Retina 两个模态上普遍提升准确率。 论文强调该方法不依赖特定模态假设,与依赖色调饱和度对比度变化或跨域结构相似性等假设的医学影像专用方法形成对照,适用范围更广。 Table 1 覆盖 3 框架 × 3 SSL 方法 × 2 数据集 × 2 标注量共 36 个设置,其中 35 个提升、1 个下降(FBCSA+FixMatch 在 Retina、mL=10 为 32.0→29.5);每个实验为 20 次运行(4 种留一域设置 × 5 个随机种子),低标注 mL=5 时提升最大达 +7.3。

启示与展望

该结果面向的是每个源域仅有少量带标签样本、大量无标签样本且带标签类别分布长尾的半监督域泛化场景,测试时模型直接部署到与所有源域不同的未见目标域。论文在组织病理(ESCA,11 类、四个医院作为域)与眼科糖网分级(Messidor-2、IDRiD、Paraguay、APTOS 四个数据集作为域)两个模态上验证,α 在验证集上选取(ESCA 为 1.5,Retina 为 2),不均衡程度由 γ=10 控制。因此,IMaX 可直接作为附加目标接入基于伪标签的 SSL/SSDG 训练流程,供希望在标注稀缺且类别不均衡条件下提升跨域泛化的研究者与工程实践者使用。

论文报告的是两个图像模态上的分类准确率,未涉及分割、检测或非图像任务,这些方向是否同样受益仍是开放问题。Table 1 中 FBCSA+FixMatch 在 Retina、mL=10 出现 32.0→29.5 的下降,说明增益并非在所有框架与数据组合上一致,其条件值得进一步观察。α 的取值依赖验证集,论文显示验证与测试趋势一致,但在验证集与目标域差异更大的场景下这一可迁移性仍需检验。此外,论文以 γ=10 作为主要不均衡设置,Fig. 1 右虽展示随不均衡因子变化的趋势,但更极端不均衡下的行为仍属开放问题。

来源