Fireworks把六项Surge基准并入专业智能指数：考的是模型能否扛住一个工作日
核心概要
Fireworks 将六项 Surge 基准纳入其专业智能指数（SII），这些基准由从业者编写，考察模型在杂乱环境、含糊指令和需要判断力的真实工作中能否完成任务。此前模型评测多集中在规格明确的任务上，例如写补丁、做计算或回答问题。新纳入的基准把评分放在执行之外的决策上，并用专家撰写的评分细则衡量正确性、验证、判断与沟通等行为。
深度剖析
专业智能指数现在把六项 Surge 基准与开放、闭源和专用模型放在同一套面向真实工作的评测里比较。 此前的评测更擅长衡量规格明确的任务，例如写补丁、跑计算、回答问题；Surge 基准针对的是真实工作中常见的杂乱环境、含糊指令和完成工作所需的判断。 这些基准由做过该工作的从业者编写，包括资深工程师、投资组合经理、医生和会计师，每项任务还要经过多轮正确性、完整性和可解性审查。
基准把考察重点放在执行之外的决策上，即什么重要、哪里可能出错，以及一个技术上正确的答案何时在职业上仍是错的。 Surge 用专家撰写的评分细则衡量正确性、验证、判断、沟通等行为，而不是只给一个通过或不通过的分数。 DAYJOB 的任务环境平均每个任务有 22 至 36 个输入文件，部分超过 300 个；44% 的任务估计需要 20 小时以上的专业工作，近一半要求 5 至 10 年经验。
软件工程方向的 sudo L7 把任务放进有多年历史的生产代码库，覆盖身份与访问控制、支付、账本、薪资和 webhook 等系统。 这类任务来自私有授权的生产代码库，而不是自包含的干净题目。 约 70% 的 sudo L7 任务来自 75 个以上代码库、15 个以上组织的私有授权生产代码库。
启示与展望
这则消息说明的是六项 Surge 基准加入专业智能指数这一评测安排，以及这些基准的构成方式；公开材料没有给出任何模型在其中的得分或排名。适合关注模型选型的工程与研究读者了解评测覆盖的职业场景与任务规模。
材料称模型在判断、可靠性和端到端完成能力上可能差异很大，并指出标题分数相近的模型也可能表现不同，但没有给出支持这一说法的具体评测数字。