跳到主要内容
检索

# 视觉基础模型

5 篇关联报道

订阅更新
  1. arXiv

    手术视觉编码器不再从自然图像起步:InnerLogic-Surg 冻结骨干在20项手术任务上全部领先

    手术图像分析长期依赖自然图像预训练编码器,或在小规模标注数据上从零训练专用模型。InnerLogic-Surg 以 DINOv3 为起点,在来自11965段公开手术视频、约2900小时、覆盖15种以上术式的数百万帧上做持续自监督预训练,得到21M至300M参数的编码器家族。在冻结骨干、仅训练线性读出层的统一协议下,该家族在覆盖流程识别、器械与解剖识别、分割、检测和单目深度的20项任务上均取得最佳线性探针表现,其中 ViT-L 在18项领先,ViT-B 在 GraSP 步骤识别与单目深度上最佳。

  2. arXiv

    OmniAct3D 将透视预训练视觉基础模型适配到全景 ERP,在 Spheriverse 上较此前最佳 3D 检测器提升 2.96 NDS

    该工作提出 OmniAct3D 框架,通过 ERP-Ray 几何适配器建模球面视线与周期空间结构、以视觉-动作推理链在全景上下文中定位证据并转化为结构化几何动作、并用外观引导朝向专家对目标区域高分辨率重编码,从而把透视预训练的视觉基础模型检测器适配到等距柱状投影全景图像;实验显示其在 Spheriverse 上较此前最佳 3D 检测器提升 2.96 NDS,在 PanoMMOcc 上较未适配的视觉基础模型基线提升 24.87 mAP,且在目标特定几何适配下 VARC 保留同配置 mAP 的 95–98%。

  3. arXiv

    Latent-Foresight 把分词器与流匹配预测器联合训练,在 Cityscapes 与 nuScenes 的未来场景理解上稳定超过两阶段基线

    该工作提出 Latent-Foresight,一个端到端框架,联合学习一个 VFM 特征分词器与一个基于流匹配的生成式动力学模型,通过停止梯度、潜变量归一化、去噪潜变量重建损失与噪声调度等设计避免潜变量坍缩,在 Cityscapes、nuScenes 与 Kubric 的多项未来场景理解任务和多个预测时域上一致优于两阶段基线,并省去分离的训练阶段(包括高分辨率适配阶段)。

  4. arXiv

    在90万张CT/MRI切片上训练的稀疏自编码器把医学影像基础模型的稠密嵌入拆成可语言描述的概念,10个特征即恢复87.8%下游性能

    该研究在TotalSegmentator数据集的909,873张CT与MRI二维切片上,对冻结的BiomedParse(生物医学)与DINOv3(通用)基础模型嵌入训练Matryoshka稀疏自编码器(BatchTopK稀疏化),并设随机权重基线,发现稀疏特征能以最高R2=0.941重建原始嵌入、仅用10个特征即恢复87.8%下游性能(99.4%降维)、以5特征指纹保留97.7%稠密检索质量、经独立大模型评判对应可语言表达的单义概念,并在单条临床文本查询上实现零样本语言驱动图像检索。

  5. arXiv

    冻结DINOv3特征经Room-Lite与校准融合注入3D U-Net,在3DRA动脉瘤分割上取得Dice 0.758并跨数据集消除全部失败病例

    该工作提出DINO-3DRA双路径框架,将冻结的2D视觉基础模型DINOv3-Small特征通过Room-Lite空间混合与校准残差融合注入可训练的3D U-Net主干,在多中心3D旋转血管造影(3DRA)@neurIST数据(233例、四家机构)上实现动脉瘤分割Dice 0.758、HD95 2.75 mm、较nnU-Net提升13%,仅需5.72M可训练参数;消融显示增益来自结构化跨维度迁移而非损失设计,且在CADA(n=45)与SHINY-ICARUS(n=30)上不经微调即把Dice<0.5的失败病例从11.1%和3.3%降至0%。

已读完全部报道