课程学习为何在强化学习里更管用：稀疏奖励下没有课程几乎学不动，密集奖励下收益有限
核心概要
课程学习在强化学习中常比监督学习更有效，原因此前缺少可解析的解释。一个可精确求解的目标拦截模型显示：奖励密集时课程只带来边际收益，奖励稀疏时课程可能是学习发生的前提；当智能体同时追求省力与高回报时，会出现相互竞争的局部最优，使智能体停在“放弃”解上。有用的课程做两件事：降低奖励稀疏度以加快学习，并塑造奖励地形把智能体引离坏的局部最优。
深度剖析
在一个可精确求解的目标拦截任务里，课程学习是否必要取决于奖励稀疏程度：奖励密集时课程只带来边际收益，奖励稀疏时没有课程学习可能根本不发生。 课程学习在监督学习中往往收效甚微，在强化学习中却可能非常有效，而已有的解析研究最多预测出温和的效果。 对基于 REINFORCE 的平均学习动力学做数学分析与数值分析，分别考察奖励密集与奖励稀疏两种回报设定。
学习被写成对一组策略参数的梯度上升，奖励越稀疏，智能体越难收到有信息的反馈，收敛就越慢。 在纯偏置、无努力项的情形下，收敛时间由初始偏差与目标有效宽度之比决定，该比值略大于一时收敛时间随它指数增长。 收敛时间用指数积分精确表达，并在比值较大时取渐近展开，得到指数级而非对数级的收敛时间。
当智能体同时要省力和拿高回报时，有效回报会出现两个局部极大：一个接近零的“放弃”解和一个接近目标动作的解，初始化落在放弃解吸引域内的智能体会卡住。 纯偏置情形下的相图可以解析刻画，鞍结分岔的位置归结为一个三次多项式的根。 存在“临界”温度参数，高于它时无论努力项系数如何都只有一个最优；低于它时可能出现单一稳定不动点、两个稳定不动点以及目标不再值得追求三种相。
启示与展望
结论建立在一个开环、每回合只输出一个动作、采用线性架构且几乎不涉及表示学习的目标拦截模型上，分析针对平均学习动力学与学习率趋于零的连续时间极限。作者明确把闭环环境、循环网络中的表示学习、可组合的学习原语以及价值学习列为尚未纳入的部分。
作者把监督学习中课程学习收效有限归为一种推测：那里的梯度较为有信息，动力学更接近密集奖励情形而非稀疏情形。模型还假设开环、单动作、线性架构，作者预期这些方面都会让理论显著变难，可能需要新想法。