开放多智能体系统有了公理化学习框架：Shapley 三条公理直接约束个体价值函数
核心概要
在只有部分智能体可控的开放多智能体系统中，个体价值函数此前缺少结构化的学习依据。研究者把 Shapley 值的有效性、对称性与线性三条公理当作学习中的结构约束，而不是按显式公式构造，并据此给出 Shapley Machine 与 Banzhaf Machine 两个通用算法模板。在改造为 n 智能体临时协作（NAHT）设定的 MPE-PP 与 SMAC 任务上，以 IPPO 和 POAM 为基座实例化后，学习效率以及对未见智能体类型和约定的泛化总体得到改善，但有效性公理在部分情形会削弱对未见智能体类型的泛化。
深度剖析
开放多智能体系统的强化学习现在可以从合作博弈的公理出发推导个体价值函数，而不必依赖启发式设计。 此前的合作多智能体强化学习默认所有智能体可控、队伍构成固定，NAHT 的目标函数本身也没有说明可控与不可控智能体如何形成合作。 把团队价值拆成可控智能体之间的内部合作与涉及不可控智能体的外部协作两部分后，全部可控时外部项消失，退化为完全可控的合作多智能体强化学习设定。
实现方式是把三条公理分别翻译成算法组件：有效性对应奖励塑形，线性对应截断 TD(λ) 更新，对称性对应个体价值网络结构。 截断 TD(λ) 中 n 步回报分量的个数由非空联盟基博弈的个数决定，λ 按几何分布给出各基博弈的权重。 在改造为 NAHT 的 MPE-PP 与 SMAC 任务上，以 IPPO 和 POAM 为基座得到 SM-IPPO、SM-POAM、BM-IPPO、BM-POAM，每个指标先按 128 回合计算、再对 5 个随机种子取平均并报告 95% 置信区间。
去掉有效性公理会得到 Banzhaf Machine，它对应 Banzhaf 指数而非 Shapley 值。 在 MPE-PP 和 3sv5z 上以 IPPO 为基座时，Banzhaf Machine 与 Shapley Machine 表现相当；多数其他场景中 Shapley Machine 更好，但有时优势很小。 对未见智能体类型的评估中，BM-POAM 在多数情况下与 SM-POAM 相当甚至更好，说明有效性公理可能削弱对未见智能体类型的泛化。
启示与展望
演示范围限于改造为 NAHT 设定的 MPE-PP 与 SMAC 任务，不可控智能体取自 IPPO、MAPPO、VDN、QMIX、IQL 五种预训练策略；8v9 与 10v11 中非空联盟基博弈数（127 与 511）超过回合长度（120 与 150），实现时以回合长度近似，因而 Banzhaf Machine 在这两个场景与基线实现等价。
当预设时长远小于非空联盟基博弈数时如何处理仍不清楚，作者提出的暂定做法是把最小时长调度下的时长当作无控制随机基博弈的个数。大规模场景中 Shapley Machine 的学习不如小规模稳定，作者把塑形奖励的波动视为关键原因，并只在 8v9 与 10v11 加入价值损失裁剪，且指出该策略会拖慢甚至妨碍其余三个场景。