图像质量打分不再依赖人眼标注:雅可比透镜一次拟合35秒,分辨率翻倍相关性几乎不掉
核心概要
图像压缩、复原和生成都需要衡量两张图在人眼里差多少,而现有最准的感知距离多依赖人类评分拟合,换分辨率就会失准。JLD把冻结视觉编码器输出对早期特征的雅可比做成一个固定度量张量,只用100张无标注图像拟合一次、约35秒,不接触任何人类判断。在TID2013、CSIQ、LIVE、KADID-10k四个图像库上平均斯皮尔曼相关达0.926,高于VSI的0.915与DISTS的0.900;TID2013分辨率从256翻到512像素时,其透镜项相关仅从0.850降到0.845,而DISTS从0.815降到0.717。
深度剖析
感知距离的权重可以来自一个只学会看图的冻结编码器,而不必来自人类评分。JLD用编码器输出对第一层块特征的雅可比,挑出对输出影响最大的特征方向并固定成一个投影,称为雅可比透镜。 此前最准的深度感知距离把权重拟合到人类判断上,因而被绑在固定的数据和分辨率上;TID2013分辨率从256翻到512像素时,DISTS与人类评分的相关从0.815掉到0.717,LPIPS-VGG从0.757掉到0.661。 在TID2013、CSIQ、LIVE和KADID-10k测试集上,JLD的平均斯皮尔曼相关为0.926,高于VSI的0.915、DeepWSD的0.913、DeepDC的0.905和DISTS的0.900,且每个差距的重采样95%区间都不含零。
透镜只保留384个特征方向中的64个,却覆盖了76.5%的敏感度迹;早期块特征提供空间细节,编码器输出提供哪些方向重要,两者合起来才既准又稳。 不加权地使用全部384个第一层块特征,四库平均只有0.772,随机取64个方向同样是0.772;改用64个主成分方向升到0.851,而64个透镜方向达到0.905。 透镜只用100张无标注DIV2K图像的4个裁剪、每裁剪8个高斯探针拟合,单张A100上耗时35秒,不使用图像对、失真或人类标签;独立重拟合的子空间重叠为0.962。
同一套构造可以换编码器、换模态:把透镜装到14个冻结编码器上,全部优于同一层的原始特征;换成视频编码器后,透镜作用在时空token上,能捕捉单帧看不到的闪烁。 在Waterloo IVC 4K上,JLD-video达到0.786的斯皮尔曼相关,而VMAF为0.611、MS-SSIM为0.694、PSNR为0.562;在留出的AVT-VQDB-UHD-1上,JLD-video为0.912,VMAF为0.932。 JLD-fast保留预滤波和透镜项、在第一个块后停止编码器,每对耗时2.5毫秒,比LPIPS-VGG的10.9毫秒快4.3倍,同时四库平均相关仍有0.911。
启示与展望
报告覆盖图像与视频的完整参考感知距离评测,对照15个距离,并在TID2013、CSIQ、LIVE、KADID-10k、PIPAL与BAPPS上给出相关与成对判断结果。适用读者是从事图像压缩、复原、生成与质量评估的研究者和工程师,使用场景是训练或评测中的感知度量与损失函数。原文说明,换到新域时通常只需更换无标注校准语料,而更换编码器或输出目标需要重新拟合,块、秩与输出权重应依据独立的开发数据调整;代码与预拟合的DINOv2-S透镜将随论文公开。
透镜项是伪度量,其零空间包含被丢弃的320个特征方向,直接以它为损失优化可能利用这些方向;输出项消除了部分歧义,却不再保证三角不等式,在审计的同一参考三元组中每百万最多107例违反,最大违反幅度3.6%。JLD在复原输出上较弱,PIPAL上为0.624,在全局对比度变化上TID2013为0.378;完整JLD比DISTS慢,约四倍加速只适用于JLD-fast;人类研究仅十名参与者,且方法假设输入已空间对齐。
