评测跑完的逐题记录不再丢弃：审计层复用旧输出，在MMStar上量出图像零增益超出置换零假设
核心概要
VLMEvalKit新增审计层，复用已完成的评测逐题输出并加一次去图重跑，在MMStar上测得20.2%的题目图像不带来平均准确率增益，扣除逐题置换零假设后仍超出。
深度剖析
一次视觉语言模型评测跑完后留下的逐题预测、判定正确性和元数据，现在可以直接用来审计基准本身，而不必另建基准或另做标注。 此前这类检查通常被当作独立研究项目，要么构建更干净的替代基准，要么运行专门的缺陷挖掘流程，各自需要标注预算和推理开销，因此实际很少发生、覆盖的基准也很少。 在MMStar的1500道四选一题上，三个模型池的零增益比例为20.2%，逐题置换零假设给出17.0%，超出部分在999次置换检验中处于可报告下限。
审计把每个头条数字都写成对逐题置换零假设的超出量，并附区间估计、留一模型范围和类别分层，使原始比例不再被过度解读。 原始零增益比例本身随模型池波动14.2个百分点，而超出量只波动4.6个百分点，说明单看原始比例并不稳定。 零增益超出集中在数学与科学技术类别，粗粒度感知类别没有正超出；另一检测器标出的134道一致标签冲突题则集中在感知类别，两者类别轮廓不同。
审计层在VLMEvalKit内以六个检测器加一次纯文本重跑实现，一条命令即可把已保存的评测产物变成逐题审计报告。 此前主流视觉语言模型评测工具包不包含基准质量检查，检查需要另起流程。 六个检测器中四个不依赖模型判定，直接解析选项字母；依赖判定的两个在精确字符串匹配下重算，类别比例变动不超过2.1个百分点。
启示与展望
审计在MMStar的四选一格式上做了深度验证，使用InternVL3-8B、Ristretto-3B和gpt-5-nano三个模型，并报告留一模型范围以显式暴露模型池敏感性。审计层、预测产物和逐题报告随提交一并发布，附录给出重生成每个数字和图形的命令。二值格式的边界被测量并报告：在HallusionBench上检测器无法恢复该基准自身的设计标签。
三个模型的池子固定了两个信号的方向，但具体类别比例仍依赖模型池，作者将其视为工作近似并测量其敏感性。零增益超出是与机制无关的聚合量，它界定语言先验、选项统计和污染的合计效应，类别分层只做定位而不指认单一原因。134道一致标签冲突题在人工复核之前仍是候选，一致同意只是优先排序信号。