单目3D检测的深度公式存在系统性偏差:MonoPCA用闭式校正把KITTI中等难度AP提到20.55
核心概要
单目3D检测长期用2D框高度代入投影关系反推深度,MonoPCA指出这样得到的是可见前表面而非物体中心的距离,偏差随物体尺寸增大。它保留可测量的2D框高度,用朝向与尺寸感知的闭式校正还原中心深度,并以教师—学生蒸馏补强尺寸和朝向预测;在KITTI测试集中等难度AP达20.55,比MonoCoP高1.44。
深度剖析
单目3D检测中广泛使用的几何深度公式存在系统性偏差,它反推的是物体可见前表面的距离,而不是物体中心的距离。 此前MonoFlex、MonoRCNN、GUP Net、MonoDETR、MonoDGP、MonoCoP等方法都把预测的3D框高度代入同一投影关系,把公式当作既定前提,把改进放在关键点推理、几何先验或不确定性建模等外围环节。 即使输入真值的高度、尺寸和朝向,该公式仍留下随物体尺寸单调增长的深度误差,说明偏差来自结构而非统计噪声;薄物体偏差小,大型车辆偏差严重。
PCDepth把偏差写成物体沿光轴方向的半展长,用朝向和尺寸推出闭式校正,从可测量的2D框高度恢复中心深度。 直接回归中心对齐的投影高度不可行,因为它本身是待求深度的函数,回归目标循环且不稳定;PCDepth改为保留可测量的2D框高度,再解析地补上差距。 在KITTI验证集IoU 0.7中等难度下,PCDepth取得26.22 AP,高于直接回归的23.82和沿用原公式的GeoDepth的24.73;把PCDepth换入MonoDETR、MonoDGP、MonoCoP三种检测器后,各自都超过其已发表结果。
深度与预测的尺寸、朝向绑定后,属性感知成为新瓶颈,GeoAlign用教师—学生蒸馏把视觉基础模型的几何表征转进轻量学生网络。 单目检测器常用的轻量骨干难以充分估计尺寸和朝向,而直接换用大骨干会抬高推理成本;GeoAlign让教师融合卷积层级与EVA-CLIP,训练后丢弃。 在KITTI验证集上,PCDepth与GeoAlign单独分别带来1.09和0.75的提升,合起来为2.24,超过两者之和;对齐损失用余弦相似度的HFA得26.22,优于MAE的25.53和MSE的25.69。
启示与展望
演示范围是KITTI、nuScenes、Waymo与Omni3D四个室外驾驶基准上的单目3D检测,学生网络为ResNet-50,教师融合ResNet-50与EVA-CLIP并在训练后丢弃,因此推理不增加成本。闭式校正假定针孔投影与直立框,并把2D框高度视为八个3D角点的紧致投影。
截断、遮挡与标注紧致度会让2D框高度偏离八个角点的紧致投影,这部分残差构成PCDepth在真值输入下仍存在的误差。深度现在依赖预测的尺寸与朝向,严重遮挡或远处物体上的属性误差仍会传入深度;在明显不同的相机设置下表现尚未研究。
