跳到主要内容
检索

# 文本到图像合成

4 篇关联报道

订阅更新
  1. Scientific Reports

    耳内镜图像不再只靠文字提示:CLNA把未写进提示的视觉差异变成可调潜变量,FID从52.91降到10.11

    耳内镜图像合成长期受限于文字提示只写诊断、不写色调与纹理等视觉细节,同一诊断类内的外观差异难以控制。CLNA在Stable Diffusion 2.1主干上加入一个风格编码器和双重交叉注意力,把这类未写进提示的属性压缩成连续潜变量,并用风格参数调节采样幅度。在正常鼓膜、分泌性中耳炎和慢性中耳炎三类耳内镜图像上,对留出的内部测试集,FID由基线Stable Diffusion的52.91降至10.11,特征空间召回率由57.67%升至90.22%。

  2. arXiv

    病理切片生成不再止步千像素小图:整张十亿像素切片一次连贯生成,合成样本让少样本分类最多提升18%

    病理图像生成此前只在图块尺度进行,最多产出1024×1024像素的小块,而临床诊断的文本报告和切片级标签都作用于整张切片。BigCell把流匹配变换器训练在2048×2048像素、超过12万张公开全切片图像上,并用推理时的滑窗流程生成最高32768×32768像素的连贯图像,在图块级和切片级保真度指标上优于此前的图块生成器。它还引入自适应调度优先处理重要区域,生成速度提升三倍以上而质量下降很小,并用合成样本把切片级少样本分类性能最多提升18%。

  3. arXiv

    PixelDense 把 SAM2、Depth Anything v2 与 Metric3D v2 拆成语义与几何两条对齐流,让 PixelGen-XXL 的 GenEval Overall 从 0.7927 升到 0.8093

    该工作提出 PixelDense,把 DINOv2 与 SAM2 送入语义投影流、把 Depth Anything v2 与 Metric3D v2 送入几何投影流,并用权重空间正交惩罚让两流占据不相交子空间,在 PixelGen 与 DeCo 上以同一配方提升 GenEval、DPG-Bench 与 HPS v2.1,其中 PixelGen-XXL 的 GenEval Overall 由 0.7927 升至 0.8093,并优于所有单教师与未分解多教师变体。

  4. arXiv

    对抗后训练让像素扩散模型补回缺失的高频细节,DeCo 的 FID 从 33.27 降到 28.59

    该研究在已收敛的像素扩散模型上保留原有扩散或流匹配目标、仅在非高噪声时间步对预测输出加入对抗损失,在 DeCo 与 PixelGen 两个像素骨干上同时改善分布保真度、覆盖度、提示对齐与感知质量,并把这一增益归因于恢复了自然图像缺失的高频功率,而相同流程在测试的潜空间扩散配置上未产生可比增益。

已读完全部报道