评测跑完的逐题记录不再丢弃:审计层复用旧输出,在MMStar上量出图像零增益超出置换零假设
VLMEvalKit新增审计层,复用已完成的评测逐题输出并加一次去图重跑,在MMStar上测得20.2%的题目图像不带来平均准确率增益,扣除逐题置换零假设后仍超出。
VLMEvalKit新增审计层,复用已完成的评测逐题输出并加一次去图重跑,在MMStar上测得20.2%的题目图像不带来平均准确率增益,扣除逐题置换零假设后仍超出。
作者提出一个进化框架,用LLM迭代生成并精炼自然语言二值特征(rubric),再由LLM对样本打分、训练逻辑回归等透明分类器;在AG News、GoEmotions与HELOC三个基准上,进化特征比单次生成rubric平均提升+2.9个百分点,并在三个任务中的两个上超过零样本LLM直接分类,其中HELOC上零样本LLM仅50.7%(接近随机且强烈偏向单一类别),而进化特征达到69.0%且各类别预测均衡、决策逻辑可审计。
已读完全部报道