FloVMos 用合成数据微调光流网络，在七种医学影像模态上实现实时视频拼接并优于三种基线
相关研究与后续进展
核心概要
作者提出 FloVMos，一个基于光流的深度学习视频拼接框架，通过从已有大视场拼图或原始视频自动生成带真值形变场的合成训练数据来微调光流网络，从而适配不同成像模态；在反射共聚焦显微镜、开顶光片显微镜、胎儿镜、腹腔镜、皮肤镜、稀疏光谱显微内镜和內视镜七种模态上，FloVMos 在精度、鲁棒性和速度上均优于 Parallax、APAP 和 AVM 三种基线，特征点距离平均误差约为视场的 0.5%，1 MP 图像处理速度约十帧每秒。
Figure 1: An overview of the FloVMos videomosaicking pipeline highlighting its four key steps: (i) data acquisition, (ii) image registration using a fine-tuned optical flow estimator (a deep neural network), (iii) real-time image warping, and (iv) image alignment and blending.
arXiv深度剖析
FloVMos 以光流深度网络为核心完成逐像素配准，并把每一帧直接配准到不断生长的拼图上的感兴趣区域，而非逐帧递归配准，从而抑制误差累积。 此前处理非刚性形变的拼接方法多针对特定模态与采集流程且计算代价高，缺少通用、快速、易适配的方案。 论文给出四步流程（采集、光流配准、形变、图割融合），并说明在 1 MP 图像上达到约十帧每秒，属于研究代码实现下的速度。
作者提出两条无需人工标注的合成训练数据生成路径：从已有大视场拼图模拟有限视场设备的随机路径，或从仅有视频的模态用单帧翻转平铺、以及选取时间上相距至少 15% 且重叠小于 25% 的四帧组成网格。 这消除了对逐像素光流真值人工标注的依赖，使光流模型可按模态快速微调。 论文给出各模态的平移、旋转、剪切与非刚性等级参数表，并说明非刚性等级按模态先验设定，如皮肤镜为 3、RCM 为 10。
在七种模态上，FloVMos 保持配准后特征点间距，平均误差约为视场的 0.5%；在模拟 RCM 数据上，其 SSIM 与 LPIPS 的均值与分布均优于 Parallax、APAP 和 AVM，与最佳对比方法 Parallax 的差异具统计显著性（p 值 0.0001）。 对比方法在非刚性形变与长视频下表现受限，而 FloVMos 在精度与稳定性上同时改善。 对比在可生成真值的模拟 RCM 数据上进行，使用 SSIM 与 LPIPS 两项标准指标并报告完整分布。
FloVMos 对光流网络选择具有模块化鲁棒性：FlowNet2、RAFT、FlowFormer、GMFlow 四种网络经同一数据微调后 MSE 与 F1 均大幅下降，例如 FlowNet2 的 MSE 从 0.940 降至 0.046。 说明框架收益主要来自合成数据微调与整体流程，而非绑定某一特定光流网络。 四个网络在相同的 11,000 段视频、40,000 帧上微调，并在独立的 172 段视频、6,000 帧上评估。
启示与展望
该工作面向成像设备贴近或接触组织的近距模态，适用于希望以低成本扩展视场的研究与临床成像流程；对具备大视场拼图或原始视频的模态，用户可自动生成训练数据并微调光流网络，从而在 GPU 上获得实时拼接。论文指出，当只有原始视频时可得数据集规模明显小于典型深度学习基准，此时增加合成数据规模与多样性有助于缓解缺少时间参照的不确定性；当存在同模态真实拼图时，可生成更大规模合成数据。作者还提出在帧间重叠至少 50% 时估计稳健，若高帧率视频重叠更大，可有选择地下采样以加速。
论文将依赖模拟数据列为当前实现的主要限制，并指出本研究集中于近距模态，设备远离组织时可能引入当前模拟模型未涵盖的形变，未来需在真实临床数据上测试并按需微调。实时处理需要 GPU，而多数临床成像系统尚不满足该条件，作者提出可用 CPU 友好模型或剪枝、量化、知识蒸馏等压缩手段，但相应权衡尚不确定。术中应用目前仅有早期可行性研究，对手术结局与工作流程效率的影响仍需评估。此外，非刚性形变等级等参数依赖领域先验，先验不足时需用小规模合成样本与真实数据做定性比对来确定。读者还应注意，本文为全文解析，图表中的具体数值分布与部分公式符号在文本中未完整呈现，相关细节需查阅原文图表。