智能体不亲自打牌，却造出能上真人天梯的炉石AI：20天23个版本，末20局均名次1.60
核心概要
AutoTavern让一组专职LLM研究智能体通过共享的带类型研究记忆和五道验证关卡协作，在20天里从零构建出完整复现炉石传说酒馆战棋的模拟器TavernGym，并训练出23个版本的TavernAgent。该智能体在真人排位天梯上自行对局，评分从6000升到约15000；按公开排行榜的统计口径，其最近20条记录平均名次1.60、80%第一名，优于服务器评分最高的十名玩家合计的2.34与59%。而在直接做同样决策的测试中，前沿LLM最多答对63%，TavernAgent答对91%。
深度剖析
一组专职LLM研究智能体可以在20天内把一个真实游戏问题从原始数据推进到能与真人玩家抗衡的系统，而人类只负责设定目标和对含义不明的机制做裁定。 此前关于LLM研究智能体的证据来自基准任务或论文评审，能否把难题做到在真实对局中见分晓仍未确定；酒馆战棋此前也没有可用的忠实模拟器，已有AI工作或只给人类玩家建议，或研究简化版本。 20天里智能体登记约1万次实验、交付23个通过交付关卡的智能体版本，人类全程输入418条消息，占全部消息的0.6%。
智能体建成的系统比智能体自己更会打牌：TavernAgent在实时约束下几乎不受影响，而直接作答的前沿LLM被延迟挡在实战之外。 在全部系统共同作答的368个任务上，最好的直接作答LLM是GPT-6 Astra，答对63%，Claude两个版本为52%至53%；TavernAgent答对91%。 TavernAgent单任务耗时0.03秒，LLM的中位任务耗时为1.4至26秒；在一秒预算内TavernAgent保持90%，DeepSeek-V4.1-Flash保持26%、Jev保持37%，其余LLM全部降到0%。
训练世界的保真度是性能的主要来源，而不是换一个更强的学习算法：学习者面对的是按真人对局逐回合重新校准的对手库。 从同一检查点、同样预算出发，用未校准对手库训练时主考场第一名率为20.9%、更难考场为10.3%；换成按真实对局校准的对手库后分别升到27.2%和13.5%。 23个交付版本在同一模拟器构建、同一考场和三个未参与选择的种子上重测，第一名率从1.9%升到41.5%，平均名次从3.40升到2.33。
启示与展望
已展示的范围是一个游戏、一个补丁（36.6.3）和作者自有账号上的单人模式对局，训练使用校准后的对手库；天梯记录覆盖项目第5至18天的392局。TavernBench与TavernGym计划在 https://github.com/MCG-NJU/AutoTavern 开源。
评分只随对局数增长，天梯仅打了两周；作者用公开排行榜对每条记录估算名次来统一比较，并说明该估计不是对局计数。388局有效名次中有96局带有客户端故障标记，这些局反映客户端而非智能体；作者也指出智能体面对的对手是库席位而非真人，因此成长曲线比较描述的是发育而非正面对抗。