跳到主要内容
返回时间线
arXiv来源发表:

DyRAD 用固定点扩散函数渲染动态驾驶场景的完整距离-方位-多普勒雷达张量,在 RADIal 上把参考检出目标的雷达检测恢复率从 26.9% 提升到 90.7%

核心概要

DyRAD 把动态驾驶场景表示为静态背景点反射体与跟随刚体轨迹的动态点反射体,用由雷达信号处理链推导并固定的解析点扩散函数渲染完整的距离-方位-多普勒(RAD)张量,多普勒既作为渲染输出又作为轨迹监督,在 RADIal、Boreas 与合成基准上同时评估轨迹内位姿与位移视角,在 RADIal 上把参考检出目标的雷达检测恢复率从最强基线的 26.9% 提升到 90.7%。

AI-generated editorial illustration: DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes

深度剖析

DyRAD 是作者所称首个为动态驾驶场景渲染多普勒的雷达新视角合成方法:场景由静态背景点反射体与跟随刚体物体轨迹的动态点反射体组成,反射体速度由物体轨迹导出并投影到视线方向,从而渲染完整 RAD 张量。 此前处理动态场景的雷达新视角合成方法只重建距离-方位(RA)张量而省略多普勒,而渲染多普勒的方法假设静态场景、多普勒仅来自传感器自身运动;DyRAD 让多普勒同时成为渲染输出和约束物体运动的监督信号。 论文在 RADIal、Boreas 和自建合成基准上评估,消融显示多普勒监督把物体多普勒峰值误差从 3.2 降到 1.1 个 bin(轨迹内)以及从 3.4 降到 1.3 个 bin(位移视角),并把联合检测 F1 从 0.41 提升到 0.62(轨迹内)、从 0.38 提升到 0.55(位移视角)。

DyRAD 用固定的、由传感器信号处理链推导的解析点扩散函数渲染每个点反射体,把传感器引起的测量扩散与学习到的场景结构分离。 既有方法从测量中直接学习占据或透射结构的空间范围,宽回波可能被解释为宽场景元素而非传感器点扩散函数,这种扩散一旦被吸收进场景表示就会像静态几何一样在位移视角下渲染错误;DyRAD 改为零尺度反射体加固定传感器响应。 消融显示固定解析点扩散函数相比学习高斯尺度或学习点扩散函数带宽,把联合检测召回率提高一倍以上,位移视角下 F1 达到 0.55,而学习尺度为 0.31、学习带宽为 0.29。

该分离还带来零样本传感器配置迁移:同一重建场景无需重新拟合即可在不同雷达规格下渲染。 此前雷达新视角合成方法无法在更换传感器配置后复用同一场景,因为传感器响应与场景结构纠缠在一起。 在由同一 RADIal 原始 ADC 记录处理出的粗、细两种配置上,拟合粗测量后仅替换点扩散函数与采样网格,直接渲染把 Chamfer 距离从 1.42 降到 1.18、F1 从 0.31 提升到 0.58,优于对同一模型粗渲染做线性上采样。

论文提出轨迹外评估协议,用合成基准中的位移真值视角和适配真实雷达记录的循环一致性协议,检验位移视角下的合成质量。 既有雷达新视角合成只在行驶轨迹上的留出帧评估,这些测试帧夹在几乎相同的训练位姿之间,直接在测量空间插值也能取得与正确前向模型相当的成绩,因此无法检验闭环仿真所需的位移视角合成。 在 25 个场景-偏移组合上,DyRAD 取得最高平均相关性,物体区域 RAD 相关性达到 0.62,而 DyRAD-static 为 0.41、RadarFields 为 0.33;真实数据上采用 Neural LiDAR Fields 的循环一致性协议,RADIal 上恢复参考检出目标的 90.7%,最强基线为 26.9%,静态模型为 33.1%。

启示与展望

该工作面向从记录数据重建动态驾驶场景并合成新位姿雷达观测的传感器仿真场景,适用于具备多普勒的前向雷达(RADIal)与不含多普勒的旋转雷达(Boreas),并依赖动态物体边界框标注来初始化轨迹。它使同一重建场景可在不同雷达处理配置下渲染而无需重新拟合,并提供了包含位移真值的合成基准供后续研究复用。对使用方而言,这意味着可以在原始行驶轨迹之外生成雷达观测,用于闭环评估与数据合成,前提是测量缺少俯仰信息、场景在地平面内建模。

反射体到物体的分配依赖物体标注且在优化过程中保持固定,即使轨迹与反射体位置会被细化;作者提出联合细化这些分配可能有助于纠正初始化误差。多径与斑点噪声尚未建模,可能影响测量真实感。当前实现使用地平面模型,因为所评估的测量缺少俯仰信息,作者建议未来评估可分辨俯仰的雷达并探索跨物理传感器的迁移。合成基准使用理想化传感器模型,未复现真实 DDMA 解复用伪影,因此位移视角下的绝对精度仍需在更多真实传感器上检验。此外,加载的文本中部分表格数值以空白形式呈现,正文引用的若干具体数字无法从表格核对,这限制了可复核的细节范围。

来源