# 视觉语言模型

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

超高分遥感问答长期默认：只要选对视野，视觉语言模型给出的计数和方位就可信。GeoScope把冻结模型当作需要标定的传感器，先测出它在单视野内可靠计数的上限（DOTA航空影像上多数模型约为五个目标），只对超过该上限的视野切分，方位则由接地框显式计算。免训练条件下，它把Qwen3-VL-8B在XLRS-Bench区域计数和空间关系上分别提高16.3和10.5分，在UHR-Micro全局与区域计数上提高16.8和36.2分。

超高分遥感问答长期默认：只要选对视野，视觉语言模型给出的计数和方位就可信。GeoScope把冻结模型当作需要标定的传感器，先测出它在单视野内可靠计数的上限（DOTA航空影像上多数模型约为五个目标），只对超过该上限的视野切分，方位则由接地框显式计算。免训练条件下，它把Qwen3-VL-8B在XLRS-Bench区域计数和空间关系上分别提高16.3和10.5分，在UHR-Micro全局与区域计数上提高16.8和36.2分。

机器人把走廊里的除颤器记成灭火器，这类错误描述过去会一直留在记忆里。MIT 研究团队在原有 DAAAM 记忆系统上加入不确定性量化，让机器人比较同一物体在不同视角下的描述，判断自己对所见之物有多不确定，再挑选额外视角把描述融合得更准确。在对比基线方法时，该系统把物体描述准确率提高了 5%，并以每个物体仅两张额外描述解决了约 92% 物体的歧义。

机器人把走廊里的除颤器记成灭火器，这类错误描述过去会一直留在记忆里。MIT 研究团队在原有 DAAAM 记忆系统上加入不确定性量化，让机器人比较同一物体在不同视角下的描述，判断自己对所见之物有多不确定，再挑选额外视角把描述融合得更准确。在对比基线方法时，该系统把物体描述准确率提高了 5%，并以每个物体仅两张额外描述解决了约 92% 物体的歧义。

大型视觉语言模型要为每张图处理数百到数千个视觉token，推理开销随之上升。此前的免训练剪枝方法用同一套重要性标准给所有视觉token排序，忽略了它们在编码过程中承担的角色会发生变化。BtsPruner先依据注意力集中度的变化定位角色转折点，再从较深层挑出被全局引用的代表token、从较浅层递归取回局部细节token，在固定预算下同时保留两类角色；在LLaVA-1.5-7B上只保留576个视觉token中的32个（5.6%），仍保住稠密模型91.6%的性能。

大型视觉语言模型要为每张图处理数百到数千个视觉token，推理开销随之上升。此前的免训练剪枝方法用同一套重要性标准给所有视觉token排序，忽略了它们在编码过程中承担的角色会发生变化。BtsPruner先依据注意力集中度的变化定位角色转折点，再从较深层挑出被全局引用的代表token、从较浅层递归取回局部细节token，在固定预算下同时保留两类角色；在LLaVA-1.5-7B上只保留576个视觉token中的32个（5.6%），仍保住稠密模型91.6%的性能。

Aleph Alpha 把逐页自检的智能体解析流程蒸馏成单一视觉语言模型 Parsy，让每页只跑一遍。此前该流程靠多个模型和最多三次校验达到 86.0 的 ParseBench 分数，但速度与成本难以支撑百万页级处理。Parsy 用该流程标注公开文档、再经独立版面模型、墨迹覆盖和第二个 OCR 模型清洗标签后训练，在 ParseBench 上得 87.9，单张 H100 每天可解析数十万页，每页成本比原流程低一到两个数量级。

Aleph Alpha 把逐页自检的智能体解析流程蒸馏成单一视觉语言模型 Parsy，让每页只跑一遍。此前该流程靠多个模型和最多三次校验达到 86.0 的 ParseBench 分数，但速度与成本难以支撑百万页级处理。Parsy 用该流程标注公开文档、再经独立版面模型、墨迹覆盖和第二个 OCR 模型清洗标签后训练，在 ParseBench 上得 87.9，单张 H100 每天可解析数十万页，每页成本比原流程低一到两个数量级。

视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。

视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。

大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家，分别学习物体、属性与关系三个方面的图文对应，再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次，即可直接接入使用同一视觉编码器的其他模型；在LLaVA-1.5 7B上，MME幻觉子集总分由555.38升至582.34，GIFT幻觉率由23.39%降至20.30%。

大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家，分别学习物体、属性与关系三个方面的图文对应，再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次，即可直接接入使用同一视觉编码器的其他模型；在LLaVA-1.5 7B上，MME幻觉子集总分由555.38升至582.34，GIFT幻觉率由23.39%降至20.30%。

四足机器人探索未知环境时，不再依赖预先写死的指令库，而是把用户的高层意图交给大语言模型写成受限于机器人函数库的可执行程序，由视觉语言模型提供开放语义标注，并用几何与语义阈值触发重规划。在Gazebo仿真中，Qwen3.5与Kimi-K2.5的总体成功率约82%，GPT-5-nano约46%；有限任务表现稳健，开放式任务的成功率波动更大。

四足机器人探索未知环境时，不再依赖预先写死的指令库，而是把用户的高层意图交给大语言模型写成受限于机器人函数库的可执行程序，由视觉语言模型提供开放语义标注，并用几何与语义阈值触发重规划。在Gazebo仿真中，Qwen3.5与Kimi-K2.5的总体成功率约82%，GPT-5-nano约46%；有限任务表现稳健，开放式任务的成功率波动更大。

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

SP-DocReader 提出一种面向文档 OCR 的自博弈框架，用最长公共子序列对齐参考文本与模型生成文本，只在未匹配位置施加对比式相对评分与直接负对数似然监督，且仅训练 OCR 模块、冻结视觉编码器与语言主干；在 Qwen3-VL-4B 与 InternVL-3.5-4B 上，三轮自博弈相对两轮监督微调降低了 Vary-600K 字符错误率，并在 DocBank、IIT-CDIP 及 DocVQA、InfographicVQA 上取得改进。

SP-DocReader 提出一种面向文档 OCR 的自博弈框架，用最长公共子序列对齐参考文本与模型生成文本，只在未匹配位置施加对比式相对评分与直接负对数似然监督，且仅训练 OCR 模块、冻结视觉编码器与语言主干；在 Qwen3-VL-4B 与 InternVL-3.5-4B 上，三轮自博弈相对两轮监督微调降低了 Vary-600K 字符错误率，并在 DocBank、IIT-CDIP 及 DocVQA、InfographicVQA 上取得改进。