# 遗憾最小化

连续一般和博弈中的多智能体学习长期受困于非平稳性：各智能体同时最大化自身收益，学习目标不断移动。DRAC把优化目标从收益最大化换成后悔最小化，用蒙特卡洛采样固定对手动作、采样单边偏离来构造平稳的后悔目标，并由双头评论家分别预测最佳响应收益与后悔值。在三智能体五轮序贯古诺寡头和两智能体五阶段比例奖金竞赛中，DRAC的可利用度分别收敛到1.37×10⁻⁴和7.45×10⁻⁴，平均相对绝对偏差为0.011和0.030，均低于同等训练轮数下的MADDPG。

连续一般和博弈中的多智能体学习长期受困于非平稳性：各智能体同时最大化自身收益，学习目标不断移动。DRAC把优化目标从收益最大化换成后悔最小化，用蒙特卡洛采样固定对手动作、采样单边偏离来构造平稳的后悔目标，并由双头评论家分别预测最佳响应收益与后悔值。在三智能体五轮序贯古诺寡头和两智能体五阶段比例奖金竞赛中，DRAC的可利用度分别收敛到1.37×10⁻⁴和7.45×10⁻⁴，平均相对绝对偏差为0.011和0.030，均低于同等训练轮数下的MADDPG。

自适应任务分配此前只在工人计算时间固定的假设下才有理论保证，一旦共享集群里出现资源争抢、后台任务或网络拥塞，原本快的工人会临时变慢，旧分配随之失效。新的滑动窗口自适应任务分配（SW-ATA）用最近一段观测估计每个工人的延迟均值，并按置信下界选择分配，从而在延迟分布逐轮变化时仍能跟踪快工人。在合成漂移延迟的分布式随机优化实验中，它明显优于原自适应分配和均匀分配，运行时间接近已知真实均值的理想分配，同时消耗的工人时间最少。

自适应任务分配此前只在工人计算时间固定的假设下才有理论保证，一旦共享集群里出现资源争抢、后台任务或网络拥塞，原本快的工人会临时变慢，旧分配随之失效。新的滑动窗口自适应任务分配（SW-ATA）用最近一段观测估计每个工人的延迟均值，并按置信下界选择分配，从而在延迟分布逐轮变化时仍能跟踪快工人。在合成漂移延迟的分布式随机优化实验中，它明显优于原自适应分配和均匀分配，运行时间接近已知真实均值的理想分配，同时消耗的工人时间最少。