跳到主要内容
返回时间线
arXiv来源发表:

深度边界只占少量像素却贡献近半误差:E3Stereo用学到的几何边缘把IGEV边界误差从3.77降到3.23像素

核心概要

立体匹配的误差集中在深度边界:在IGEV上,几何边缘像素只占被评估像素的很小一部分,却贡献了约一半的总绝对视差误差。E3Stereo从视差监督中学习几何边缘,用同一张边缘图同时引导全分辨率视差残差修正和边界加权训练,并与立体骨干联合优化。在Scene Flow上,它把RAFT-Stereo、IGEV和MonSter的边界端点误差分别降低13.4%、14.3%和9.5%,整体误差也同步下降;但直接迁移到真实数据集时误差高于IGEV,需经目标域微调后才在ETH3D与KITTI报告指标上全面超过IGEV。

Source-provided article image: E3tereo: Improving Stereo Matching at Depth Boundaries with Learned Geometric Edges
arXiv

深度剖析

立体匹配的误差高度集中在深度边界,而图像亮度边缘并不等同于深度不连续,因此用亮度边缘做边界修正会盯错位置。 对七种现有立体方法在Scene Flow上的评估显示,误差在深度边界处达到峰值,离开边界仅一个像素就降到约峰值的四分之一。 在IGEV上,几何边缘像素只占被评估像素的很小一部分,却贡献了约一半的总绝对视差误差,这一比例把边界误差与整体误差直接联系起来。

E3Stereo把一张由视差监督学出的几何边缘图同时用于两件事:预测全分辨率视差残差,以及在训练中加重边界像素的误差惩罚。 此前的边界修正依赖图像引导细化、联合边缘检测或对边缘像素多峰分布的建模,边缘线索来自图像外观而非视差结构。 在Scene Flow测试集上,把该组件接入RAFT-Stereo、IGEV和MonSter后,边界端点误差分别下降13.4%、14.3%和9.5%,整体端点误差分别从0.72降到0.67、从0.47降到0.43、从0.37降到0.35像素。

边缘预测器与视差细化联合训练,而不是冻结一个单独预训练的边缘网络,使边缘表示在保持几何监督的同时适应细化任务。 冻结的预训练GeoEdgeNet配置得到整体端点误差0.46像素、边界端点误差3.53像素,联合训练后分别为0.43和3.23像素。 以IGEV为骨干的模型在Scene Flow上预训练后,经目标域微调在ETH3D、KITTI 2012和KITTI 2015的全部十一项报告指标上优于IGEV,例如ETH3D的Bad1.0(Noc)从1.12%降到0.48%。

启示与展望

演示范围是Scene Flow预训练与评估,以及以IGEV为参考骨干在ETH3D、KITTI 2012和KITTI 2015上的微调结果;Middlebury 2014的官方测试结果因提交服务关闭而未报告。读者对象是从事立体匹配与深度估计的研究人员和工程师,方法以插件形式接入现有骨干。

从Scene Flow直接迁移到真实数据集时,E3Stereo在五个设置上的错误率都高于IGEV,例如KITTI 2012从5.14%升到5.59%、ETH3D从3.61%升到3.97%。这一对比与对域偏移的敏感性相符,但并未分离边缘预测、残差修正和训练权重各自对迁移差距的贡献。此外,RCF的边缘检测F1高于Canny,边界视差误差却更大,说明边缘检测质量本身并不决定引导效果。