知识工作基准不再只看文字：MKA用200个视觉密集任务考智能体，专家与自动评分一致率96%
核心概要
多数知识工作基准只用文字就能解，不需要看图像或版面，但建筑蓝图、工程图纸和成稿报告这类日常专业工作高度依赖视觉。Google与Artificial Analysis合作推出MKA多模态知识智能体基准，由10个行业、83种职业的专家编写200个任务，每题配约70条是/否评分项，75%看事实准确性、25%看视觉设计。专家亲自给模型输出打分时与自动评分器一致率为96%，200题评测集保持私有，另在Hugging Face公开10个任务供检查格式。
深度剖析
知识工作智能体的评测对象从纯文本问答扩展到需要读懂复杂视觉文件的多步项目，MKA把这类工作拆成可逐项核对的评分表。 此前的多数知识工作基准可以只靠文字解出，完全不必查看图像或页面版面。 MKA的200个任务由10个行业、83种职业的领域专家编写，每个任务对应资深从业者需三到八小时完成的多步项目。
评分不靠单一总分，而是由能打开文件、渲染页面、检查表格公式的智能体评分器逐条对照专家评分表。 评分表由专家撰写，每题约70条是/否检查，权重为事实准确性75%、视觉设计25%。 领域专家亲自给模型输出打分时，与自动评分器的判断一致率为96%。
所有模型在同一个开源智能体框架Stirrup中运行，工具、沙箱和回合预算一致，结果差异因此来自模型本身。 200题评测集由Artificial Analysis私有运行，以免任务泄漏进训练数据或被模型通过搜索找到。 另有一组10个公开任务发布在Hugging Face，供任何人检查格式并测试自己的智能体。
启示与展望
评测覆盖10个行业、83种职业的200个任务，每个任务对应资深从业者三到八小时的工作量；200题评测集保持私有，公开的只有Hugging Face上的10个任务。
公开材料只说明专家与自动评分器的一致率为96%，未给出各模型在200题上的具体得分；技术报告称前沿模型效率差异很大，平均每个任务用30到130个回合，并展示了移除视觉能力后模型试图补偿但失败的情况。