跳到主要内容
检索

# 多模态大语言模型

28 篇关联报道

订阅更新
  1. arXiv

    组合图像检索不再一步压成单向量:FactEmbed先拆解修改意图,再对候选重排

    组合图像检索要按“参考图加一句修改文字”找回目标图,常见做法是把多模态查询直接压成一个检索向量,模型没有显式机会先想清楚文字改了什么。FactEmbed在Qwen2.5-VL-7B的输入中插入一组可学习的因子化潜变量,用重建目标图细节的“目标想象”目标让它们各自对应目标中的语义区域,再用因子级对比损失和注意力蒸馏把这些分解带入检索。在精化后的CIRR与FashionIQ基准上,其Recall@1与平均Recall@10均高于CSMCIR与ReCALL,但正文所述提升幅度与表格数值不一致。

  2. arXiv

    同一物体换个机位就认不准:LieVLM 用几何令牌预测局部旋转,ScanRefer 定位精度提高 6.9 点

    多视角三维视觉语言模型存在视角诱导的语义漂移:同一物体和同一提问,换一个相机视角,目标相关响应就会变弱、弥散或偏移。LieVLM 让几何令牌预测局部旋转参数和通道门控,在预训练视觉特征的三维子空间上施加保长的旋转修正,再把修正量门控后融回原表示。在 ScanRefer 上,LieVLM-8B 取得 64.5 的 Acc@0.25 和 57.2 的 Acc@0.5,在相同提案细化协议下比已发表的 VG LLM-8B 分别高 6.9 和 6.3 点。

  3. 大脑体素不再只配一个语义单元:SAIL把多层稀疏特征合到一起,冗余更低、语义对齐更高

    多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”,说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题:先在多模态大模型多层表征上联合训练跨层稀疏自编码器,再为每个体素匹配多个单元,并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上,跨层联合训练相比逐层独立训练降低了单元响应冗余,并在全皮层与选择性感兴趣区都取得更高的语义相似度。

  4. arXiv

    给第一视角AI助手建一个可验证考场:人按指令动手,最强模型长程引导只到20%

    第一视角AI助手的评测长期依赖真人,交互数据昂贵而稀少,难以回答今天的多模态大模型能否在物理世界里真正帮到人。InteractiveWorld把这一环节搬进可验证的闭环环境:助手发出指令,由人类智能体观察场景、理解指令并独立行动,环境执行动作并更新双方看到的画面。在此之上构建的InteractiveBench包含六类共120个多轮任务,每个指令都影响结果并由基于状态的可验证奖励打分;12个前沿多模态大模型的表现显示它们仍远非可靠助手,其中Claude Fable 5.1在长程引导与规划任务上分别最高只达到20%和25%。

  5. arXiv

    视觉干预并非越深越好:等强度编辑在解码中段失去杠杆,按题型校准后再用才把属性准确率提上去

    同一处视觉残差编辑在解码器逐层施加、强度对齐后,效果在某一层之后持续下降,这个下降点被称为证据锚定边界;据此按题型校准的选择性路由在三个检查点上把全属性集准确率提高,而全量相减则中性或有害。

  6. arXiv

    多模态大模型细粒度识别不再靠猜:推理时收紧候选表并给对比提示,13个基准上平均涨约15分

    多模态大模型做细粒度识别时,视觉线索与类别概念关联不足;LIVE在推理时收紧候选类别表并按需给出类别对比提示,在13个基准上把Qwen2.5-VL-7B的平均准确率提高14.96分。

  7. arXiv

    视觉推理不再回归坐标:探针令牌在视觉词元上采样证据,4K基准准确率78.0%且推理词元约为对照的1.2%

    TiCO把“看图思考”中的坐标回归换成探针令牌在视觉词元上的相似度采样,在HR-Bench 4K上取得78.0%总体准确率,同时每查询只生成6.2个词元。

  8. arXiv

    视觉token剪枝不再只看单个分数:图传播加度数校正,LLaVA-NeXT保留三成token仍达98.7%精度

    多模态大模型的视觉token选择改用图传播加度数校正:在四个骨干、十个基准和七个剪枝率上,LLaVA-NeXT保留三成视觉token时精度保留98.7%,并带来净prefill加速。

  9. arXiv

    SpatialOPSD 把空间编码智能体的验证轨迹蒸馏进 9B 多模态模型,无工具推理达 51.9 平均准确率

    作者提出 SpatialOPSD,一种在线策略自蒸馏框架,把空间编码智能体经真值验证的执行轨迹作为特权信息,让同一初始化的教师模型在训练时看到轨迹、学生只看到原始图像,并用重复感知蒸馏(重复掩码加不可似然正则)抑制逐字复制;在 MindCube-Tiny 与 ViewSpatial 上,9B 学生平均准确率从 45.9 提升到 51.9,高于 SFT 的 47.6 与 GRPO 的 48.2,并在无工具单次前向中保留其工具教师 SpatialClaw 57.3 的约 91%。

  10. arXiv

    FlashGaze 在 ViT 编码前用四叉树动态规划剪枝视频 patch,在 Qwen3-VL-8B 上以 20% 保留率保住 LongVideoBench 98% 精度并降低峰值显存 1.8 倍

    FlashGaze 是一种免训练方法,在 ViT 编码前以像素空间差异作为信息损失代理,用四叉树动态规划在固定预算下联合决定 patch 的丢弃、合并与保留,从而同时削减视频的时空冗余;在 Qwen3-VL-8B 与 NVILA-8B-Video 上,它在多个视频理解基准上取得更高精度与更低首 token 延迟,并在 20% 保留率下保持 LongVideoBench 全输入基线 98% 的精度。