# 去中心化Actor-Critic算法

网络化平均奖励多智能体强化学习中，每个智能体只用 k 跳邻域信息更新策略，此前这类设定只有表格型收敛到稳定点的结果。该工作先给出两个反例：即使环境完全合作、完全可观测且遍历，乘积局部策略仍可能停在次优局部最优；局部策略看不到全局状态时，梯度消失也不保证单边最优。随后为带线性评论家的去中心化演员—评论家算法给出有限样本稳定点界，并证明强固定状态熵正则可把保证提升为全局最优。

网络化平均奖励多智能体强化学习中，每个智能体只用 k 跳邻域信息更新策略，此前这类设定只有表格型收敛到稳定点的结果。该工作先给出两个反例：即使环境完全合作、完全可观测且遍历，乘积局部策略仍可能停在次优局部最优；局部策略看不到全局状态时，梯度消失也不保证单边最优。随后为带线性评论家的去中心化演员—评论家算法给出有限样本稳定点界，并证明强固定状态熵正则可把保证提升为全局最优。