跳到主要内容
返回时间线
researchsquare.com来源发表:

X光超分辨不再借自然图像的眼睛:换掉VGG感知损失,ESRGAN的PSNR从22.21升到34.04 dB

核心概要

医学X光超分辨长期沿用为自然图像设计的VGG感知损失,重建出的结构容易偏离解剖形态。一种名为USELoss的域感知损失把VGG特征换成轻量U-Net编码器的多尺度特征,并加入Sobel边缘约束,在ESRGAN与HAT两类架构上统一使用同一套损失权重。在PadChest胸片测试集上,ESRGAN的PSNR由22.21 dB升至34.04 dB,SSIM由0.5545升至0.9160,边缘误差约降46%。

AI-generated editorial illustration: Enhancing Structural Quality in Medical X-ray Super-Resolution via Domain-Aware Loss

深度剖析

医学X光超分辨的瓶颈被定位到损失函数而非网络结构:同一套域感知损失可以同时装在GAN类与Transformer类超分模型上,并让原本表现最差的ESRGAN回到与其他模型相当的水平。 按自然图像惯例训练的ESRGAN使用VGG感知损失时,在胸片上PSNR只有22.21 dB、SSIM只有0.5545,明显低于SRGAN、HAT等对照模型。 在PadChest胸片的500张训练、100张留出测试图像上,ESRGAN换上USELoss后PSNR升至34.04 dB、SSIM升至0.9160,PSNR提升超过50%。

USELoss由三部分约束组成:像素损失管强度一致,U-Net编码器提供的多尺度特征管解剖结构,Sobel边缘损失管边界梯度,GAN模型另保留一个权重很低的对抗项。 此前的感知损失依赖在ImageNet上训练的VGG网络,其特征偏向纹理与语义内容,与X光片看重的结构连续性和边缘精度不一致。 U-Net编码器约7.5M参数,对比VGG19约143M参数;ESRGAN与HAT变体使用完全相同的损失分量与权重(0.5, 1.0, 0.5, 0.005),对抗项只加在ESRGAN上。

边缘监督对两类架构都有效,但收益幅度不同:GAN类模型主要靠它压掉虚假边缘,Transformer类模型则在原本较好的边界上再收紧一点。 标准ESRGAN的边缘差异在全部模型中最大,说明对抗训练在没有域约束时会生成过多伪边缘和边界畸变。 ESRGAN加入USELoss后边缘误差约降46%;HAT_USELoss取得全部模型中最低的边缘总和700,866与边缘均值13.97,相对基线HAT约降5.5%。

启示与展望

结论建立在PadChest单一胸片数据集上,共600张图像,按图像级划分为500张训练与100张测试,测试集未参与模型选择或调参。低分辨率输入由双三次下采样按4倍比例生成,高分辨率参考经Lanczos插值缩放到224×224。评价覆盖PSNR、SSIM、MS-SSIM、MAE、MSE、RMSE、LPIPS、VIF、FSIM、NCC、UQI、SNR以及Sobel边缘差异,均以留出测试集上的均值±标准差给出。U-Net编码器只在训练时使用,边缘计算开销轻,因此推理效率与基线模型相当。后续计划把方法扩展到CT、MRI等更多数据集与模态,并通过放射科医生研究开展临床验证。

标准ESRGAN在胸片上的明显退化被归因于VGG特征偏向自然图像的纹理与语义,这一解释来自指标与可视化的一致性,而非单独的消融实验。HAT_USELoss的SSIM最高,但MS-SSIM最高的是基线HAT,说明跨尺度一致性并未随损失替换而同步提升。方法目前只在双三次退化下评估,尚未覆盖真实采集伪影,也缺少临床读数验证。