跳到主要内容
返回时间线
arXiv来源发表:

雷达原始频谱不再先压成点云:L-SPMAE 自监督预训练让通用检测器在 K-Radar 上超过雷达专用检测器

核心概要

雷达三维感知长期先把原始频谱压成稀疏点云或紧凑多普勒统计量,再交给监督学习。L-SPMAE 改用掩码自监督:把在局部破坏下仍可重建的部分视为信号,并用频谱泄漏模拟这种破坏,直接从未压缩的雷达频谱预训练。在 K-Radar 上,采用 RAD 表示的 L-SPMAE 微调后 mAP 达 55.9/50.1,高于表中点云自监督基线的最佳 50.8/45.0。

Source-provided article image: Rethinking Radar 3D Perception: Representation Learning from Raw Spectra
arXiv

深度剖析

雷达感知的默认做法是先用手工缩减把频谱压成稀疏点云或紧凑多普勒描述,再在其上训练检测器;L-SPMAE 跳过这一步,直接从未缩减的雷达频谱做自监督预训练。 在完全监督训练下,更丰富的频谱表示反而更差:K-Radar 官方划分上,RAE 与 RAE-d 分别比点云低 1.6/1.5 和 3.2/2.8 mAP。 经过预训练再微调后,这一顺序反转:RAE 表示上的 L-SPMAE 达到 53.7/48.4 mAP,比表中最佳点云自监督基线高 2.9/3.4;RAD 表示上的 L-SPMAE 达到 55.9/50.1 mAP,比全部点云基线高 5.1/4.7。

方法把信号定义为在局部破坏下仍能被重建的频谱成分,噪声则是不能重建的成分,因此不需要预先规定信号长什么样。 随机掩码的 SPMAE 已能超过点云自监督对照,而加入泄漏破坏的 L-SPMAE 在 RAE 上再提高 0.6/0.3 mAP。 在 K-Radar 官方划分的三类检测设置中,固定 PTv3 主干与 RAD 表示,SPMAE 比监督训练高 5.4/4.8,L-SPMAE 又在 SPMAE 基础上再高 1.6/2.2。

多普勒不能只当作通道堆叠,必须作为一个独立的空间轴,编码器才能沿多普勒方向建模依赖关系。 把多普勒分箱按通道堆叠的 RAE-d 在微调后不如只取平均多普勒功率的 RAE,说明堆叠没有带来收益。 改成 x-y-D 的 RAD 表示后,L-SPMAE 在 K-Radar 官方划分上达到 55.9/50.1 mAP,恢复了表示越丰富、预训练后效果越好的顺序。

启示与展望

演示范围是 K-Radar 与 RADIal 上的三维目标检测,以及 K-Radar 上的占据预测和多目标跟踪;所有结果都来自作者自建的预训练与微调流程,主干为通用三维检测器 PTv3,另用稀疏编码器验证了趋势一致。

作者指出处理稠密雷达频谱的计算成本明显高于点云方法,训练与推理都更慢;后续计划用 token 剪枝降低开销,并探索 MAE 之外的自监督方法。RADIal 上的增益较小,作者归因于该数据集场景多样性和复杂度较低。