知识工作基准不再只看文字:MKA用200个视觉密集任务考智能体,专家与自动评分一致率96%
多数知识工作基准只用文字就能解,不需要看图像或版面,但建筑蓝图、工程图纸和成稿报告这类日常专业工作高度依赖视觉。Google与Artificial Analysis合作推出MKA多模态知识智能体基准,由10个行业、83种职业的专家编写200个任务,每题配约70条是/否评分项,75%看事实准确性、25%看视觉设计。专家亲自给模型输出打分时与自动评分器一致率为96%,200题评测集保持私有,另在Hugging Face公开10个任务供检查格式。