课程学习为何在强化学习里更管用:稀疏奖励下没有课程几乎学不动,密集奖励下收益有限
课程学习在强化学习中常比监督学习更有效,原因此前缺少可解析的解释。一个可精确求解的目标拦截模型显示:奖励密集时课程只带来边际收益,奖励稀疏时课程可能是学习发生的前提;当智能体同时追求省力与高回报时,会出现相互竞争的局部最优,使智能体停在“放弃”解上。有用的课程做两件事:降低奖励稀疏度以加快学习,并塑造奖励地形把智能体引离坏的局部最优。
课程学习在强化学习中常比监督学习更有效,原因此前缺少可解析的解释。一个可精确求解的目标拦截模型显示:奖励密集时课程只带来边际收益,奖励稀疏时课程可能是学习发生的前提;当智能体同时追求省力与高回报时,会出现相互竞争的局部最优,使智能体停在“放弃”解上。有用的课程做两件事:降低奖励稀疏度以加快学习,并塑造奖励地形把智能体引离坏的局部最优。
该工作构建了野火后泥石流(PFDF)数据驱动预测的统一基准,用LLM将业务天气预报文本转为结构化气象指标并融合地形与土壤湿度特征,并提出基于强化学习的特征选择框架,通过扰动使正负样本预测不可区分来识别关键驱动因子;结果显示可学习模型一致优于固定系数的USGS逻辑回归基线,增强特征进一步提升多数模型表现,且风暴变量在全球层面占主导而特征重要性随区域显著变化。
这篇综述以马尔可夫博弈及其去中心化、部分可观测变体为数学框架,把多智能体强化学习算法文献归为三条谱系——各自独立学习、将团队价值分解为个体分量(VDN、QMIX 及其后续)、以及用具备全局信息的评论家训练的策略-评论家方法(MADDPG、COMA、MAPPO),并讨论了移动目标学习、共享奖励分配、局部视野受限与联合动作空间增长等区别于单智能体的障碍,说明为何“训练时用全局信息、执行时用局部信息”成为标准设计,同时回顾了实时策略游戏、机器人团队、自动驾驶车辆、无线资源共享与大模型智能体编排等应用及社区常用测试套件,最后指出规模、与陌生伙伴协作和部署安全方面的未解问题。
已读完全部报道