OSWorld-Science 用 146 个科学软件任务测 12 个视觉语言模型:最强智能体平均仅 73.7%,最难任务集只有 40%
该工作提出 OSWorld-Science 基准与评测环境,把专家定义的科学任务、基于产物的执行式评分器和统一智能体外壳结合起来,在 7 个科学领域、17 款软件、3 种语言上评测 12 个视觉语言模型,结果显示最强模型 Claude Fable 5.1 平均得分 73.7%、最难任务集约 40%,且失败多发生在交互层与结果校验环节而非科学推理本身。
该工作提出 OSWorld-Science 基准与评测环境,把专家定义的科学任务、基于产物的执行式评分器和统一智能体外壳结合起来,在 7 个科学领域、17 款软件、3 种语言上评测 12 个视觉语言模型,结果显示最强模型 Claude Fable 5.1 平均得分 73.7%、最难任务集约 40%,且失败多发生在交互层与结果校验环节而非科学推理本身。
研究者构建了 EngiWorld 基准,围绕完整工程设计闭环,在 CAD、CAE、CAM、BIM、EDA 与 3D 可视化 6 个领域、26 个专业软件平台上设置 1301 个专家策展任务,并用统一的领域验证器套件对最终与中间产物做几何有效性、物理可行性与规则合规检查;对 7 个前沿模型的评测显示最强模型 EngiScore 仅 44.3,多软件尝试成功率仅 3.6%。
该工作构建了包含 5,000 条 GUI-only、CLI-only 与交错 GUI–CLI 轨迹以及 3,000 个带可执行验证器 RLVR 任务的数据管线 HybridCUA-8K,并提出先监督微调、再用带 CLI 感知奖励的在线强化学习的两阶段训练框架,训练出的 HybridCUA-9B 在 OSWorld 上达到 53.6% 准确率(较基座 Qwen3.5-9B 提升 14.8 个百分点、平均步数从 31.6 降至 14.0),在 WindowsAgentArena 上达到 36.0%(提升 4.0 个百分点)。
已读完全部报道