CUA-SWE 用 105 个可执行任务测出：给智能体看运行界面后，GPT-6-Astra 四域均值从 11.3% 升到 59.9%
作者提出 CUA-SWE——一个覆盖 Web、Game、DevOps、Mobile 四个软件工程领域、共 105 个任务的基准、交互式开发环境与评测流水线，让智能体在同一任务中改代码、跑命令、操作运行中的软件并查看截图，用任务专属的确定性测试判定结果；在代码-only 与混合 CUA 两种条件下对比前沿模型，GPT-6-Astra 取得最高四域均值 59.9%，且每个前沿模型在混合 CUA 下聚合成功率都更高，增益集中在必须从应用材料（图纸、服务契约、图形参考卡）中恢复需求的任务上。