arXiv来源发表:
智能体打完整《杀戮尖塔》:最强模型能追平普通玩家,却随流程拉长被专家甩开
导语
SpireBench让20个大模型在最高难度下打完整商业卡牌游戏《杀戮尖塔》,前沿模型超过启发式基线并追平普通玩家,但随流程拉长落后于专家,且跨局记忆没有带来提升。
正文
智能体大模型在长流程策略游戏上的表现被放到了完整商业游戏里衡量,而不只是短回合任务。 此前的智能体基准大多是短而分回合的,长任务上的表现难以拆成已有知识、推理和运气。 在《杀戮尖塔》最高难度下,20个大模型中前沿模型超过启发式基线并追平普通玩家,但仍远落后于专家。
强弱模型之间的差别主要体现在每一场战斗打得好不好。 所有模型在整局流程中都误判风险,倾向于保住生命值而不是花掉它来变强。 差距随流程拉长而扩大:最强模型赢下第一幕的频率与专家相当,之后便落后。
模型的部分表现来自对这款游戏的先验知识,而不是跨局积累的经验。 把游戏术语做一次全面且自洽的改名后,可以分离出先验知识的作用。 模型不会因为跨局写下的记忆而进步,这些记忆往往错误且过于保守。
接下来
这项工作面向研究长流程策略推理的智能体研究者,评测场景是最高难度下的完整《杀戮尖塔》,并配有与已有测试框架的对比。材料没有提出下一步实验或迁移方案,读者可关注的是这套基准与失败定位工具本身。
材料把结论限定在《杀戮尖塔》这一款游戏和最高难度设置上,并指出模型写下的跨局记忆往往错误且过于保守。这些限定意味着相关现象是否出现在其他长流程任务中,材料没有给出答案。
