骨表面高光谱三维重建不再依赖外部相机位姿:BoNeRF-HS在小鼠骨与两种骨仿体上取得最高PSNR与SSIM
核心概要
骨表面低纹理、镜面反射和不规则形貌使COLMAP等外部位姿估计不可靠,而现有高光谱三维重建方法都依赖这类位姿。BoNeRF-HS把相机内参、逐视角位姿、体密度与高光谱辐射场放在一起优化,并用门控光谱适配头学习相邻波段间的残差修正。在45视角、120波段、400–1000 nm的小鼠骨、小梁骨仿体和皮质骨仿体数据上,它的PSNR与SSIM在三例中均为最高,小鼠骨上PSNR为29.94、SSIM为0.9254。
深度剖析
高光谱三维重建可以在没有外部相机位姿的情况下完成,相机内参与每个视角的位姿同辐射场一起从多视角高光谱图像中学出来。 此前的高光谱神经渲染方法假定相机参数已知或由外部估计,而骨表面的低纹理与镜面反射让COLMAP这类基于特征的运动恢复结构流程容易给出不可靠的位姿。 在三例样本上,BoNeRF-HS的PSNR与SSIM均高于同样改为高光谱输出的NeRF–24、SiNeRF和NoPe-NeRF;小鼠骨上PSNR为29.94、SSIM为0.9254、RMSE为0.0325,皮质骨仿体上PSNR为31.78、SSIM为0.9232、RMSE为0.0258。
光谱预测被拆成直接预测与受门控的残差修正两部分,使相邻波段的相关性可以被单独利用。 直接光谱头把各波段当作彼此独立的输出通道,没有显式建模连续波段之间的相关性。 在三例样本平均的消融中,带学习门控的适配头把PSNR从直接光谱头的26.32提高到29.29,SSIM从0.8428提高到0.8810,RMSE从0.0500降到0.0376;固定弱门控的变体反而低于直接光谱头。
启示与展望
实验覆盖小鼠骨、开孔PCF15小梁骨仿体和闭孔PCF40皮质骨仿体各一个样本,每例45个视角、120个波段、400–1000 nm,约90%视角用于训练、其余用于测试;采集在固定相机、固定照明和电动转台的台式条件下完成。作者指出,转向真实手术使用需要在更少受控的采集条件下验证。
作者说明每类仅一个样本,所报提升应视为有前景的初步证据而非经统计验证的收益;骨表面令COLMAP失效这一动机在本文数据上并未通过展示COLMAP失败或高位姿误差来实证;在软组织样本上BoNeRF-HS的PSNR与RMSE领先,但SSIM略低于NoPe-NeRF(0.8373对0.8472),作者将其列为待解的开放问题。
