湍流视频复原多了一条可检查的光学约束:GridPSF 前向拟合达 29.49 dB,但复原增益未稳定复现
核心概要
GridPSF 在 MambaTM 复原网络的训练图里加了一条可检查的前向约束:从观测片段和宿主潜变量预测 8×8 网格、每格 35 个去活塞 Zernike 系数,再用 Fraunhofer 渲染器把单位质量点扩散函数混合后拟合湍流观测。在留出的 ATSyn-dynamic 视频上,前向一致性达到 29.49 dB PSNR 和 0.8882 SSIM,比直接用干净目标当预测的 25.54 dB 高 3.95 dB。一个验证集选出的匹配宿主检查点对带来 +0.419 dB PSNR 和 +0.0022 SSIM,但 LPIPS 上升 0.0017,且五种子对照未检出平均复原增益。
深度剖析
湍流视频复原网络在训练时多了一条显式光学前向约束,其拟合结果可以逐格检查,而不是只靠复原指标反推模型用了什么成像算子。 此前的 MambaTM 用四通道潜相位畸变表示引导复原,这些坐标不直接给出瞳面相位、点扩散函数宽度、各向异性或模态能量。 在留出的 ATSyn-dynamic 测试视频上,把推断出的场作用到干净目标,与湍流观测相比得到 29.49 dB PSNR 和 0.8882 SSIM;同一批 100 段视频上,直接用干净目标当预测只有 25.54 dB,拟合算子高出 3.95 dB。
这条约束在训练时把观测片段和宿主的潜相位畸变拼在一起,预测一张随时间变化的 Zernike 系数网格,再渲染成局部点扩散函数并混合它们的模糊作用。 渲染采用标量 Fraunhofer 模型和硬圆瞳,每个格点的点扩散函数归一为单位质量,64 个格点由四邻接图上的消息传递产生非负权重,做逐像素归一化的单位分解融合。 主模型使用 8×8 网格、35 个去活塞 Zernike 模式,覆盖径向阶 1 到 7,训练片段为 16 帧,在 ATSyn-dynamic 的 400 段训练片段上训练、100 段验证片段选检查点、另 100 段测试视频评估。
单个匹配宿主检查点对在测试集上给出正向复原差异,但这一增益对检查点敏感,不能单独证明光学参数化改善了复原。 在 54 个匹配验证检查点中只有 22 对 PSNR 差异为正,未加权平均差异为 −0.018 dB,29000 步这一对是最大值。 该对在 100 段留出视频上 PSNR 提高 0.419 dB、SSIM 提高 0.0022,三个难度区间均为正,但 LPIPS 上升 0.0017;五种子下与同信息量 CNN 和未改宿主比较,种子级区间均跨零。
启示与展望
定量复原评估在 ATSyn-dynamic 这一个合成基准上完成,宿主是暴露四通道潜相位畸变接口的 MambaTM,没有重训任何外部复原方法;前向一致性在每帧中心 192×192 裁剪上评估,点扩散函数几何诊断只用每个难度区间前四段留出片段。实测湍流只做了 OTIS 静态印刷图版的定性对照,没有定量真实视频增益,也没有运动自然场景测试。
前向拟合不能识别生成波前,拟合出的系数不是校准的大气波前估计;重放合成湍流中,每段片段自己的场在位移上优于错片段和打乱格点对照,但位移幅度被低估,模糊宽度排序和形状一致性仍然很差。主模型还存在半格点扩散函数指派偏移和跨格点时间混合,逐格图解释因此受限;29000 步与五种子结果都基于这一实现。
