后悔值不再逐格存表:Haar小波压缩把博弈求解内存砍到五万分之一,还快过深度CFR
核心概要
在有序状态空间的不完全信息博弈中,累积后悔值不再按每个信息集逐格存储,而是转成Haar小波系数、只保留最大的若干个。此前表格型CFR+在细粒度离散下内存随博弈树线性膨胀,深度CFR则以神经网络推理换取内存、带来延迟。在Deep-Stack Kuhn扑克上,状态数从一千增到一千万时内存只从0.6 MB升到2.1 MB,压缩比超过99.9%;在Flop Hold'em上达到同等可剥削度的时间约为深度CFR的六点五分之一。
深度剖析
求解不完全信息博弈时,累积后悔值可以当作沿有序状态排列的一维信号来压缩,而不必为每个信息集保留一个稠密数组。 标准表格型CFR+把每个信息集当作独立索引,细粒度离散使信息集数量组合式增长,在Deep-Stack Kuhn扑克状态数达到十万量级时耗尽64 GB内存。 状态数从一千扩到一千万、即扩大一万倍时,Haar-CFR的峰值内存只从0.6 MB升到2.1 MB,相对表格基线在最大规模上减少超过五万倍。
压缩后的后悔值仍能支撑CFR+的迭代,策略质量与未压缩版本相当。 压缩会引入截断误差,需要说明它不会破坏CFR的无后悔保证。 在Leduc Hold'em上,保留前5%系数的设置与精确表格基线的可剥削度曲线基本重合,两者比较的p值为0.812,判为无差异。
在Flop Hold'em这类超过一百亿节点的大规模博弈上,基于CPU的快速Haar变换比神经近似更快到达同等策略质量。 深度CFR用神经网络近似后悔面,即使批量推理也受前向计算与数据传输延迟拖累。 可剥削度降到100 mbb/h时,Haar-CFR约用4小时,深度CFR约用26小时,前者约为后者的六点五分之一。
在做市压力测试中,单一均衡策略同时体现出库存与信息两类风险的作用。 Avellaneda–Stoikov模型只按库存线性调整报价,Glosten–Milgrom模型只按信息不对称扩大价差,两者此前分属不同的计算框架。 在2000档价格网格、库存从负10到正10、毒性参数每回合从0到1均匀抽样的环境中,学到的报价曲面在低毒性区呈线性库存倾斜,在高毒性区进入不再交易的平台。
启示与展望
报告的范围是作者在标准扑克基准与自建做市模拟上的评测:Leduc Hold'em、Deep-Stack Kuhn扑克、Flop Hold'em,以及2000档价格网格、库存负10到正10、毒性参数每回合从0到1均匀抽样的做市环境。读者对象是关心大规模博弈求解内存与延迟的算法研究者与量化工程师。作者提出的后续方向包括把框架扩展到二维小波以刻画多资产相关性、利用小波系数的独立性做GPU并行,以及把谱正则化用于能源电网竞价和拍卖等其它有序博弈。
方法的有效性受均衡策略稀疏性约束:消融中把系数比例降到0.001时,可剥削度在约250 mbb/h处停滞,作者将其归因于系数数量低于表示策略跳变所需的下界。作者也指出,在高振荡、高熵或分形混合策略的博弈中稀疏假设可能不成立,此时所需系数随状态数线性增长,退化为标准表格CFR。金融结论来自模拟环境,统计比较基于100回合。
