arXiv来源发表:
智能体打完整局《杀戮尖塔》：最强模型首幕追平专家，长局却越打越落后
核心概要
智能体大模型能处理复杂任务，但长程策略推理缺少可拆解的评测。SpireBench让20个大模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》，前沿模型超过启发式基线并追平普通玩家，却仍远落后专家；差距随流程拉长而扩大，最强模型首幕胜率与专家相当，之后掉队。模型跨局写下的记忆没有带来提升，且常出错、过于保守。
深度剖析
长程策略推理现在有了一个可完整跑通的评测场景：模型从开局打到通关，而不是只做短回合任务。 此前的智能体评测大多是短程、片段式的，长任务上的表现难以拆成已有知识、推理和运气三部分。 20个大模型在游戏最高难度下完成整局游玩，前沿模型超过启发式基线并达到普通玩家平均水平，但与专家仍有明显差距。
强弱模型的分野出现在每一场战斗的打法上，而不是开局阶段。 随着流程变长，差距被放大：最强模型首幕的获胜频率与专家相当，随后逐渐落后。 所有模型在整局尺度上都误判风险，倾向于保住生命值，而不是用生命值换取成长。
把游戏内所有术语系统性改名后，模型的表现部分来自对这款游戏的既有知识。 模型跨局写下的记忆没有让它们进步，这些记忆往往不正确且过于保守。 该评测环境是首个把完整原版游戏交给模型运行的框架，并与已有框架做了对比。
启示与展望
该评测面向研究智能体长程策略推理的研究者与工程师，场景是最高难度下完整游玩《杀戮尖塔》，覆盖20个大模型，并与启发式基线和人类玩家水平对照。
结论来自单一商业卡牌游戏，模型跨局记忆常出错且过于保守，这些记忆未带来提升；长程差距随流程拉长而扩大这一现象在摘要层面给出，具体机制仍待展开。