StoreBench 让智能体经营一家网店:最强模型 DeepSeek-V4-Pro 平均分 0.700,仍低于脚本启发式 0.764 与人类专家 0.708
作者提出 StoreBench:一个让智能体在 Medusa v2 生产级电商后端上经营中型服装网店 30 至 365 个模拟日的长时程环境,通过 29 个商家工具、按操作计量的时间预算、锚点校准的通过阈值与抗奖励作弊的评分来考察持续经营能力;七个前沿模型无一在平均分上追平脚本 smart-triage 策略(最佳 DeepSeek-V4-Pro 0.700 对 0.764),人类专家以 0.708 略高于所有模型,而在 Claude Code 下跑满一年时多数模型大幅提升,GRPO 后训练把 Qwen3.5-27B 在留出任务上的均分从 0.136 提到 0.373。