LEDNet加一条残差支路:结构相似度涨0.0047,峰值信噪比没跟上
核心概要
在LEDNet原有的动态卷积核接口上,LEDNet-P3增加了一条残差支路,把核增量拆成一个带符号的核和坐标与四个零和形状基,并让退化RGB图像只参与形状系数的预测。在LOL-Blur官方测试的1800对图像上,与同协议配对的LEDNet相比,结构相似度提高0.004656、学习感知图像块相似度降低0.011445,但峰值信噪比差为−0.045441 dB,峰值信噪比提升未获确立。这条支路带来226880个新增参数和约17.7%的实测前向延迟。
深度剖析
低光模糊图像需要同时恢复可见度和空间细节,LEDNet-P3在保留原生成器的前提下,于三个原生滤波尺度上给卷积核加了一个可学习的增量。 此前的LEDNet直接由编码特征预测每个位置的5×5核,核增量对邻域均值和局部变化的响应是隐含的。 在LOL-Blur官方测试的1800对、来自30段视频的图像上,预先固定的模型相对配对LEDNet使结构相似度提高0.004656、学习感知图像块相似度降低0.011445,逐视频看分别有26/30和30/30改善。
增量被拆成两部分:一个带符号的核和坐标负责对常数邻域的响应,四个零和形状基负责对局部变化的响应。 编码特征经1×1卷积预测核和增量,同一组特征与双线性缩放后的退化RGB逐元素相加后,再经1×1卷积预测每个通道四个形状系数。 四个5×5基在25个抽头上先减去自身均值再按位置系数混合,因此形状项对常数邻域不响应;三个尺度分别使用128、128和64通道,新增参数合计226880个,训练从零输出初始化开始。
启示与展望
结论来自LOL-Blur官方测试的1800对图像,模型在6万次更新、批大小1、153段视频的固定配对协议下预先确定,比较对象是同协议训练的LEDNet;公开的DarkIR-m与LEDNet训练历史不同,只作为独立系统参照。
峰值信噪比平均差为−0.045441 dB,逐视频方向为16段改善、14段变差,保存的逐视频差值从−2.150967到+2.420956 dB,因此总体接近零并不代表每段视频变化可忽略。后验的NIQE与LOEhigh相对LEDNet上升,LOElow下降,未确立更广的恢复优势;在DarkIR上的适配探索也未显示相对普通残差滤波的优势。
