网络化平均奖励多智能体学习有了有限样本界：去中心化只能收敛到稳定点，强熵正则才回到全局最优
核心概要
网络化平均奖励多智能体强化学习中，每个智能体只用 k 跳邻域信息更新策略，此前这类设定只有表格型收敛到稳定点的结果。该工作先给出两个反例：即使环境完全合作、完全可观测且遍历，乘积局部策略仍可能停在次优局部最优；局部策略看不到全局状态时，梯度消失也不保证单边最优。随后为带线性评论家的去中心化演员—评论家算法给出有限样本稳定点界，并证明强固定状态熵正则可把保证提升为全局最优。
深度剖析
网络化平均奖励多智能体强化学习现在有了有限样本的收敛刻画，但无正则情形下能证明的只是策略梯度范数趋于零，而不是收敛到全局最优联合策略。 此前该设定下的收敛保证基本是表格型、渐近地收敛到稳定点，尚未建立随样本数变化的有限时间界，也未刻画 k 跳截断的定位误差、特征类带来的函数逼近误差与有限样本 TD 统计误差如何相互作用。 两个反例支撑这一界限：一个单状态双智能体协调问题中，乘积策略在 (p,q)=(0,0) 处取值为 1 且是严格局部最优，而全局最优 (1,1) 取值为 2；另一个两节点例子在 p=1/2 处所有局部策略梯度为零，但单边改到 p′=1/4 可把平均奖励从 2/3 提到 10/13，Nash 间隙至少为 4/39。
算法让每个智能体在 k 跳邻域上维护一个低维线性评论家，并用邻域内评论家值的加权和构造演员方向，从而避免维护随邻域指数增长的局部表格。 k 跳表格评论家本身可视为对全局 Q 函数的一种线性逼近，其特征把在智能体局部视角下无法区分的全局状态—动作对归为一类；在此基础上再压缩到 d 维特征，就把误差拆成定位误差与函数逼近误差两项。 定位误差随邻域半径按 O(cρk+1) 几何衰减，而固定特征维度下增大 k 会加重压缩负担；在维护单元环境中，路径规模为 8、16、32、64 个智能体，方格边长为 3、4、6、8 即 9、16、36、64 个智能体，路径上 k=1、特征维度 16 时每智能体贪心奖励为 0.676±0.002，k=3 时降到 0.392±0.148，而表格评论家在方格上始终接近 0.058。
启示与展望
结论适用于每个智能体状态转移只受直接邻居影响、因而满足指数衰减性质的网络化平均奖励设定，策略被限制为只依赖本地状态的乘积局部策略；数值示例是有限状态的维护单元环境，路径规模为 8、16、32、64 个智能体，方格边长为 3、4、6、8，即 9、16、36、64 个智能体。
全局收敛保证要求熵正则足够强，即熵权重超过未正则目标在探索区域上的曲率上界与最小状态权重之比，作者明确把固定状态熵正则视为补救手段而非通用解法；此外收敛到的是局部乘积策略区域上的正则最优，而非无限制中心化策略下的最优。