连续博弈里不再各自追收益：改追后悔值，DRAC在两类序贯博弈中把可利用度压到10⁻⁴量级
核心概要
连续一般和博弈中的多智能体学习长期受困于非平稳性：各智能体同时最大化自身收益，学习目标不断移动。DRAC把优化目标从收益最大化换成后悔最小化，用蒙特卡洛采样固定对手动作、采样单边偏离来构造平稳的后悔目标，并由双头评论家分别预测最佳响应收益与后悔值。在三智能体五轮序贯古诺寡头和两智能体五阶段比例奖金竞赛中，DRAC的可利用度分别收敛到1.37×10⁻⁴和7.45×10⁻⁴，平均相对绝对偏差为0.011和0.030，均低于同等训练轮数下的MADDPG。
深度剖析
连续动作、一般和的多智能体博弈里，学习目标改为最小化后悔值，而不是让每个智能体各自最大化收益。 独立优化各自收益会让所有智能体的策略同时更新，学习环境变成移动靶，容易陷入循环式的策略调整而无法收敛到稳定均衡。 在三智能体、五轮的序贯古诺寡头中训练20万轮后，DRAC的可利用度收敛到1.37×10⁻⁴，平均相对绝对偏差为0.011；同一设置下MADDPG的可利用度为4.27×10⁻⁴，平均相对绝对偏差为0.019。
算法用采样得到的单边偏离构造训练目标，使目标不随对手策略的同步更新而漂移。 深度反事实后悔最小化这类方法需要显式评估决策节点上的每个可选动作，因而被限制在有限离散动作空间；标准演员-评论家虽能处理连续动作，但价值估计相互耦合，一次错误的策略更新会传播到其他智能体的动作价值函数中。 对每个智能体固定其余玩家的联合动作，从以已执行动作为中心的高斯分布中采样256个单边偏离，取采样效用最大值作为最佳响应收益目标，再与目标网络估计的动作价值相减并截断在零以上，得到后悔目标。
双头评论家把最佳响应收益和后悔值分开预测，演员网络则直接最小化预测后悔之和。 若用共享奖励做集中式联合优化，在非合作场景中容易诱导合谋；而个体后悔以零为下界，最小化其总和会把每个智能体的可利用度推向零。 在两智能体、五阶段、资源消耗因子0.8的比例奖金竞赛中，DRAC的可利用度收敛到7.45×10⁻⁴，平均相对绝对偏差为0.030；MADDPG的可利用度为2.48×10⁻³，平均相对绝对偏差为0.063。
启示与展望
演示范围限于完全信息、一般和收益结构下的连续动作博弈：三智能体五轮的序贯古诺寡头与两智能体五阶段的比例奖金竞赛，两者均与解析均衡对照。作者提出后续将框架扩展到非完全信息域，并让演员输出类别概率分布以求解离散博弈中的混合策略均衡。
采样近似最佳响应在收益地形高度非凸的博弈中更容易漏掉有益的全局偏离；动作空间维度升高时需要更多蒙特卡洛样本，尽管计算代价随玩家数保持线性而非指数增长；计算后悔需要模拟备选动作的假想收益，在模拟器中容易实现，黑箱环境则需环境模型来预测结果。