跳到主要内容
返回时间线
Annals of Biomedical Engineering来源发表:

腹部超声模拟不再依赖患者CT:语义标签直接生成物理仿真图,形变与病灶靠改图控制

核心概要

腹部超声模拟此前多依赖患者CT做射线投射,推理时难以灵活改变形变与病灶。一种两阶段流程先从解剖语义标签生成简化的物理仿真超声图,再用解剖引导的非配对翻译把它细化为真实感超声,推理时无需患者CT体数据。第一阶段中语义扩散模型在形态指标上优于Pix2Pix,而Pix2Pix在感知指标上更好;训练阶段仍需CT分割与射线投射仿真。

Source-provided article image: Abdominal Ultrasound Simulation from Semantic Labels Using Paired Label-to-Physics-Based Image Translation.
PubMed

深度剖析

腹部超声模拟的推理环节可以脱离患者CT体数据,只凭解剖语义标签生成带物理仿真依据的超声图像,并通过编辑语义图控制形变与病灶。 此前的模拟方法通常需要基于CT的解剖参考来做射线投射,形变与病理变化的可控性因此受限。 两阶段流程在公开的VISCERAL Anatomy3与IRCAD数据上评估,第一阶段用Pix2Pix与语义扩散模型对比,第二阶段接分割引导的CycleGAN细化。

流程分两步走:先把语义标签映射成简化的物理仿真超声图,再把它翻译成真实感超声。 第一阶段用成对生成模型学习CT射线投射输出,第二阶段用解剖引导的非配对翻译完成风格细化。 语义扩散模型在形态指标上领先,MAE为19.85对21.65、SSIM为0.28对0.24、mIoU为0.43对0.29;Pix2Pix在感知指标上更好,LPIPS为0.17对0.19、FID为0.32对0.37、KID为0.25对0.48。

推理时省去患者CT的代价是训练阶段仍离不开CT。 CT导出的分割与射线投射仿真依旧是训练第一阶段所必需的输入。 这一条件适用于已训练完成的流程,训练完成后即可通过修改语义图生成健康与病理模拟。

启示与展望

已展示的范围是腹部超声:在公开的VISCERAL Anatomy3与IRCAD数据上训练与评估,推理阶段只需语义标签即可生成图像,训练阶段仍需CT导出的分割与射线投射仿真。适用对象是需要可控健康与病理超声图像的模拟与训练场景。

第一阶段两种模型各有优势:语义扩散模型形态指标更好,Pix2Pix感知指标更好,报告未给出统一取舍。完整源代码因项目限制不能公开,仅提供代表性输入、测试样本与预处理说明。