BiCG-Net把质量评分对准目标本身:11个教师读数做同图差分,跨库零样本PLCC达0.8416
核心概要
当目标只占画面一小块时,整图质量评分会被背景主导,而公开基准又没有目标级人工评分。BiCG-Net把目标框向外扩成嵌套图块序列,用11个冻结的图像质量评估模型分别打分,再对同一图像内两块读数作差,从数学上消掉目标项与教师偏置。在CSIQ与LIVEC上,学生网络对人工MOS的PLCC分别为0.9009和0.9133,均高于最佳单教师与教师共识;冻结后从CSIQ零样本迁移到LIVEC,PLCC为0.8416,比共识高0.1947。
深度剖析
图像质量评估从整幅画面转向指定目标区域,评分只针对目标框内的对象,而不是整张图。 此前主流的无参考质量评估把整帧当作一个同质质量单元,目标只占画面一小部分时,聚合分数被背景、道砟和植被主导。 在自建铁路数据集上,最佳单教师的PLCC为0.8230,教师共识为0.8642,BiCG-Net为0.9855;该数据集以弱标签为参照,不是人工MOS。
做法是把目标框逐级向外扩成一组嵌套图块,让每个教师对每块各给一个读数,再从读数随图块扩张的变化里推断目标质量。 每个教师读数被写成目标质量、教师偏置、面积效应、背景内容和噪声五项之和,五项都不可直接观测。 同一图像内两块读数相减后,目标项与教师偏置因在图像内不变而抵消,只剩面积效应、背景差与噪声;面积效应由几何编码器估计并扣除。
学生网络并不模仿任何单个教师,而是从教师读数的相对结构中学习映射到质量标签。 常规多教师聚合直接对教师输出取算术平均,教师偏置与背景项会一并进入监督信号。 在CSIQ与LIVEC上,学生网络对人工MOS的PLCC分别为0.9009和0.9133,高于最佳单教师与教师共识;冻结后从CSIQ迁移到LIVEC,PLCC为0.8416,共识为0.6469。
启示与展望
演示范围包括两个带人工MOS的公开基准CSIQ与LIVEC,以及一个2,816张图像的自建铁路数据集;公开基准上用面积比为1/9的中心框作为伪目标,使目标级任务退化为整图评估。自建数据集的结果以教师共识生成的弱标签为参照,而非人工MOS。作者提出后续为自建数据集引入一部分人工MOS标注,以测量弱标签与人工判断的相关性。
自建数据集上的0.9855反映的是对弱监督的拟合程度,不是与人类感知的直接一致。跨数据集迁移不对称,作者假设这与源域失真覆盖范围有关,但当前实验未将其与数据集规模、MOS尺度等因素分离。色散门在三个数据集上对PLCC的增量为0.0000,作者将其定位为诊断通路而非精度模块。
