毫米波雷达微多普勒首次可反演拟合:4DPS把真实人体回波重建成可训练数据
核心概要
毫米波雷达的人体微多普勒长期缺少可规模化的数据来源,现有模拟器只做前向仿真、学到的生成器把场景藏在网络权重里,静态场景反演渲染器又没有慢时间轴,因此都无法拟合一段真实的人体运动采集。4DPS把场景表示为带材质、法向和速度的有向点,用闭式多普勒点扩散函数把每个点直接撒进距离与多普勒单元,输出真实雷达记录的原始复数回波。在HuPR与RT-Pose上,拟合后的渲染在微多普勒上取得0.988和0.966的中位相关,仅用渲染数据训练的位姿模型在真实数据上保留0.59和0.76的真实训练精度。
深度剖析
毫米波雷达的人体微多普勒现在可以从一段真实采集反演出来,而不只是被前向模拟或由生成模型凭空采样。 此前的雷达反演渲染器只重建静态场景,每帧每个点只计算一个相位,没有测量多普勒所依赖的慢时间轴,因此无法定义速度,也无法拟合运动的人体。 在HuPR上,拟合把去杂波后的距离–方位相关从相机初始化渲染的0.270提高到0.666;拟合渲染在HuPR与RT-Pose上的微多普勒中位相关分别为0.988和0.966,而由同一运动驱动的前向模拟器RF-Genesis只达到0.671和0.394。
渲染器输出的是真实雷达记录的原始复数回波,因此同一份拟合结果可以经过与真实数据相同的数字信号处理,得到任意下游模型所需的表示。 此前的静态反演渲染器没有多普勒轴,学到的生成器则把场景隐式地留在网络权重中,没有可拟合或可编辑的显式对象。 场景由采集自带的同步相机初始化,每个点携带ITU-R P.2040材质、法向和速度,移动点沿距离与多普勒两个轴以闭式点扩散函数撒点,每个点只写入7个多普勒单元;在HuPR的235条和RT-Pose的100条序列上完成拟合,单张H100上每条序列约5.7分钟和12.9分钟。
只用渲染数据训练的位姿模型能在真实雷达数据上工作,说明渲染携带了任务所需的信息。 用同一运动驱动的前向模拟器RF-Genesis渲染数据训练,模型几乎无法迁移到真实数据。 在RT-Pose上,仅用4DPS渲染训练的模型在真实数据上达到21.86厘米MPJPE,真实数据训练为16.67厘米,RF-Genesis渲染训练为127.59厘米;在HuPR上分别为38.4 AP、65.6 AP和1.8 AP。
启示与展望
演示范围限于HuPR与RT-Pose两个带同步相机、保留慢时间的公开人体感知数据集,覆盖两种不同的雷达阵列构型;场景按单次反射渲染,背景保持静态,每条序列只建模一个人。作者把对编辑后场景与真实记录进行评分列为下一步。
速度被限制在视频运动学给出的有界残差之内,骨架也来自单目人体模型而非雷达标注,因此拟合是在修正视频的运动而不是独立恢复它。高程是脚手架重建最弱的一个轴,HuPR的竖直板和RT-Pose的级联雷达在保真度上因此低于HuPR的水平板。没有公开的模拟器以真实采集为输入,所以对照中的RF-Genesis是由配准运动前向驱动,而非拟合到被评分的记录。
