跳到主要内容
检索

# 推理分割

2 篇关联报道

订阅更新
  1. arXiv

    分割提示不再只靠一个向量：改用[SEG]注意力图，Sa2VA在部件与多目标上提升十余gIoU

    语言引导分割通常把指代位置压缩进单个[SEG]隐状态向量交给解码器，而该向量没有空间索引，解码器又看不到原句。AttnSeg改为把[SEG]词元对图像块的注意力图作为解码器的稠密提示，并用注意力引导目标直接监督这张图，分两阶段训练。在Sa2VA上，4B模型ReasonSeg的gIoU由57.70升至64.11、GS-Eval由61.91升至72.11，增益集中在物体部件、多目标和单目标，stuff区域几乎不变。

    King Abdullah University of Science and TechnologyAdobe Systems (United States)
    Eslam Abdelrahman（第一作者）
    AttnSeg 注意力分割方法注意力引导目标推理分割
  2. arXiv

    SWiM 用工作记忆蒸馏让多模态大模型在无记忆推理时也能提升推理分割，并在基准上达到最优

    该工作发现多模态大模型在重新审视同一图像与查询时，其自生成的推理轨迹与定位提议可作为工作记忆提升推理分割，于是提出 SWiM 框架：按分割质量筛选 rollout 构建工作记忆，以记忆条件模型为教师，在学生自生成轨迹上提供 token 级分布监督，学生仅接收原始图像与查询，并联合优化 on-policy 自蒸馏与基于结果的强化学习，在推理分割基准上取得最优性能。

    Cilin Yan（第一作者）
    工作记忆蒸馏推理分割SWiM（带工作记忆的推理分割器）多模态大语言模型在线策略自蒸馏

已读完全部报道