Artificial Analysis

多数知识工作基准只用文字就能解，不需要看图像或版面，但建筑蓝图、工程图纸和成稿报告这类日常专业工作高度依赖视觉。Google与Artificial Analysis合作推出MKA多模态知识智能体基准，由10个行业、83种职业的专家编写200个任务，每题配约70条是/否评分项，75%看事实准确性、25%看视觉设计。专家亲自给模型输出打分时与自动评分器一致率为96%，200题评测集保持私有，另在Hugging Face公开10个任务供检查格式。

多数知识工作基准只用文字就能解，不需要看图像或版面，但建筑蓝图、工程图纸和成稿报告这类日常专业工作高度依赖视觉。Google与Artificial Analysis合作推出MKA多模态知识智能体基准，由10个行业、83种职业的专家编写200个任务，每题配约70条是/否评分项，75%看事实准确性、25%看视觉设计。专家亲自给模型输出打分时与自动评分器一致率为96%，200题评测集保持私有，另在Hugging Face公开10个任务供检查格式。

Cognition与36个开源仓库的维护者共同构建了FrontierCode 1.1，让智能体在真实仓库上做改动，并由维护者标准判断这次改动是否值得合并。评测不只看测试是否通过，还看改动是否过大、是否越界修改无关文件、是否添加无用测试。Artificial Analysis在统一的Stirrup智能体框架下运行主集100个任务，每个任务三次尝试，领先模型Claude Opus 5.5平均得分52%、通过率58%，但领先模型仍有超过40%的尝试无法通过全部阻断性检查。

Cognition与36个开源仓库的维护者共同构建了FrontierCode 1.1，让智能体在真实仓库上做改动，并由维护者标准判断这次改动是否值得合并。评测不只看测试是否通过，还看改动是否过大、是否越界修改无关文件、是否添加无用测试。Artificial Analysis在统一的Stirrup智能体框架下运行主集100个任务，每个任务三次尝试，领先模型Claude Opus 5.5平均得分52%、通过率58%，但领先模型仍有超过40%的尝试无法通过全部阻断性检查。