网络化平均奖励多智能体学习有了有限样本界:去中心化只能收敛到稳定点,强熵正则才回到全局最优
网络化平均奖励多智能体强化学习中,每个智能体只用 k 跳邻域信息更新策略,此前这类设定只有表格型收敛到稳定点的结果。该工作先给出两个反例:即使环境完全合作、完全可观测且遍历,乘积局部策略仍可能停在次优局部最优;局部策略看不到全局状态时,梯度消失也不保证单边最优。随后为带线性评论家的去中心化演员—评论家算法给出有限样本稳定点界,并证明强固定状态熵正则可把保证提升为全局最优。
网络化平均奖励多智能体强化学习中,每个智能体只用 k 跳邻域信息更新策略,此前这类设定只有表格型收敛到稳定点的结果。该工作先给出两个反例:即使环境完全合作、完全可观测且遍历,乘积局部策略仍可能停在次优局部最优;局部策略看不到全局状态时,梯度消失也不保证单边最优。随后为带线性评论家的去中心化演员—评论家算法给出有限样本稳定点界,并证明强固定状态熵正则可把保证提升为全局最优。
多智能体强化学习中,对手建模通常把推断出的同伴表征与当前观测拼接后一起编码,两者如何相互作用只能留给策略学习去隐式发现。PCOR改为非对称结构:观测特征作为当前交互状态的基础表示,同伴表征只调制这些特征如何被解读。在两个部分可观测基准上,PCOR在未见同伴上的最终评估表现高于所报告的基线;在POO上,与使用相同编码器、仅融合方式不同的拼接变体相比,评估成功率从30.2%升到51.1%。
多域6G网络切片的放置、跨域路由与接纳决策是NP-hard的在线问题,固定规划策略在不同拓扑上排名会反转,被拒请求中多数其实存在可行放置。ORION在分层编排器中让两个LLM智能体分别翻译业务意图、生成抽象放置计划,并把每次尝试的网络条件、计划形状与验证器给出的可行性结果写入情节记忆,再作为带标签示例回灌规划器。在未见过的拓扑族上固定选择与执行层后,带该记忆的规划器在两个随机种子上接纳率都高于无记忆版本和先进先出存储版本,但提升幅度尚未确立。
连续一般和博弈中的多智能体学习长期受困于非平稳性:各智能体同时最大化自身收益,学习目标不断移动。DRAC把优化目标从收益最大化换成后悔最小化,用蒙特卡洛采样固定对手动作、采样单边偏离来构造平稳的后悔目标,并由双头评论家分别预测最佳响应收益与后悔值。在三智能体五轮序贯古诺寡头和两智能体五阶段比例奖金竞赛中,DRAC的可利用度分别收敛到1.37×10⁻⁴和7.45×10⁻⁴,平均相对绝对偏差为0.011和0.030,均低于同等训练轮数下的MADDPG。
在下行NOMA系统中,功率分配此前多依赖固定、均分或集中式学习,难以同时兼顾吞吐与弱信道用户。Kampala International University团队把每个用户建模为独立学习智能体,用共享奖励协调各自的局部观测,并在学习环境中显式计入不完美SIC留下的残余干扰。三用户仿真中,该方法在30 dB信噪比下取得约18 bps/Hz和0.96的公平指数,10 dB时中断概率低于10%。
多路口信号控制不再把整张路网压成一个共享隐向量。此前在正常流量下训练的策略遇到封路、走廊中断或降雨时,往往分不清短暂波动和持续通行能力下降。这里让每个路口按相邻路口的联合状态重新分配注意力,再用一段历史窗口判断变化是否持续,在随机封路场景中把等待时间恢复时间从329秒缩短到245秒,中心封区场景中等待时间恢复快82秒。
在真实路网上,只最小化自身通行时间的自动驾驶车辆会把人类驾驶车辆的平均通行时间推高,因为道路容量有限,绕开拥堵的路线被抢走后成本转移给了别人。研究把“边际成本”这一项加进自动驾驶车辆的奖励:用一次反事实仿真把该车从路网中移除,比较其余车辆通行时间的变化,从而量化它对系统的影响。在因戈尔施塔特和普罗万两个真实路网上,加入社会项后人类车辆通行时间的增幅从1.7%降到1.1%,自动驾驶车辆自身也更快;只对约40%影响最大的车辆计算边际成本,可把额外仿真次数从约414万降到约246万,效果接近全量计算。
多智能体强化学习不再需要读取同伴的私有奖励:每个智能体用自己学到的奖励模型去评估同伴的转移,在 Escape Room、Clean Up 和 Commons Harvest 三个序贯社会困境中都能学出合作,且常比能看到真实奖励的智能体分得更均。
该工作提出 GREQ 两阶段混合模型-学习框架:第一阶段用基于信道统计的贪心算法以最少子信道确定性满足用户 QoS,第二阶段利用 OFDM 子信道间干扰仅来自同子信道这一结构,将大规模 MARL 问题分解为按子信道独立的 QMIX 子问题,从而避免动作空间指数爆炸;在 50MHz 带宽、多种 numerology 的仿真中,GREQ 相比优化与学习基线吞吐提升最高 40%,实现 100% 约束满足,且仅激活 20–80% 的可用子信道。
SynCo 把智能体式数据合成与任务求解建模为耦合的多智能体强化学习问题,用同一在线交互批次同时更新一个合成器和一个解题器:解题器获得逐条 rollout 的正确性奖励,合成器获得由任务质量、答案可靠性与结果接地可教性门控的任务级奖励,二者更新再反馈进下一轮合成。在八个数学推理基准上,SynCo 平均准确率 78.72%,高于冻结合成器变体的 75.85% 与最强外部基线 ScaleQuest-Math 的 74.96%,且增益主要来自初始模型未能解出的题目。