对手塑造不再需要看对手参数：元学习出的更新规则在五款博弈中综合得分居首
核心概要
在一般和博弈中，让智能体影响对手学习过程的方法此前需要读取对手的策略、参数或学习规则。一项研究把单智能体强化学习里“元学习出更新规则”的做法搬到多智能体场景，元训练出一条只读自身经验与收益矩阵的规则，部署时不再接触对手内部信息。在囚徒困境、匹配硬币、胆小鬼、猎鹿与硬币游戏的对阵循环赛中，该规则在五款博弈的归一化平均得分上排名第一，自博弈得分同样第一。
深度剖析
智能体可以只靠自己的对局记录和收益矩阵，学出一条会改变对手行为的更新规则，而不需要在部署时读取对手的策略、参数、奖励或学习规则。 此前的对手塑造方法要么像 LOLA 那样对对手的更新步骤求导、需要对手参数与学习规则，要么像 M-FOS 那样把学习算法封在每次对局都要重训的黑箱网络里。 在囚徒困境、匹配硬币、胆小鬼、猎鹿和硬币游戏的对阵循环赛中，该规则在五款博弈的归一化平均得分上排名第一，自博弈归一化平均得分也排名第一；在囚徒困境中，朴素学习者的合作率从约一半升到最后一轮的 92.9%，而该规则自身只合作 16.4%。
规则本身是一个小型网络，每局结束后读取自己的状态、双方动作、自身奖励和收益矩阵，输出策略对数几率该改多少。 训练目标是对手混合分布下整条生命周期回报的加权平均，覆盖 10、25、50、100 次更新四个时间尺度，使规则既学得快又不在后期掉下来。 为避免元梯度穿过共同学习而爆炸，训练用似然比梯度估计，并在对数几率改动上加高斯噪声；另加一轮受 PSRO 启发的阶段，专门训练利用者来攻击当前规则，再把利用者混入训练对手，使匹配硬币中的可利用度从 0.376 降到 0.144。
启示与展望
演示范围是四款迭代矩阵博弈与双币硬币游戏的对阵循环赛，每款博弈的规则单独元训练，部署时元网络冻结、只更新内层策略网络。读者若关心更大规模或连续动作的多智能体环境，需要看后续是否把规则扩展到这些设定。
规则按博弈分别训练，胆小鬼中专门训练的规则得分高于囚徒困境规则的零样本迁移；硬币游戏里学到的规则只是把 REINFORCE 步长乘以约 0.99 至 1.00 的系数，作者认为这是规则形式的限制；自博弈对比中 M-FOS 的元自博弈版本在循环赛之外得分更高，作者怀疑与训练混合不同有关。