arXiv来源发表:
多目标不再只是额外负担：让每个智能体自己学偏好，动态变体在四个协作任务上帕累托前沿最优
核心概要
多目标多智能体强化学习此前把多个目标当作叠加在多智能体问题上的额外优化维度。MIRL把目标结构本身用来引导协作：团队偏好固定系统级取舍，每个智能体另有一个可学习的个体偏好，由元梯度按后续团队表现调整。在四个多目标粒子环境任务上，MIRL-S与MIRL-D的帕累托前沿质量优于五个基线，动态变体MIRL-D整体最强。
深度剖析
多目标结构被当作协作的学习信号，而不只是多智能体问题之上多出的一维优化。 既有方法把多智能体协作与多目标优化当作学习中基本独立的两个部件，除简单情形外复杂度很高。 在Spread、Formation、Line、Reference四个协作任务上，MIRL-S与MIRL-D的超体积和期望效用均高于DTDE-PPO、CTDE-PPO-V、CTDE-PPO-Q、MO-COMA与MO-MIX五个基线。
每个智能体在固定的团队偏好之外，还持有一个可学习的个体偏好，决定它如何把各目标的贡献合成自己的策略更新信号。 个体偏好由元梯度调整，依据是这次策略更新之后、按团队偏好评估的后续表现。 实验在MPE扩展出的两目标环境上进行，第二个目标是交互能耗；Spread、Formation、Line各三个智能体，Reference两个智能体并带通信，每环境三个随机种子。
启示与展望
实验范围是MPE扩展出的两目标协作任务，智能体数量为两个或三个，全部方法在相同联合环境步数预算下训练。
当前基准任务无法清晰区分不同的行为倾向或协作角色，因此难以把学到的偏好变化定量对应到具体行为变化；评估也只覆盖两目标、智能体数量较少的协作任务。