可迁移奖励不必靠海量专家示范:主动挑选动力学,两阶段方法减少所需示范
逆强化学习要从专家示范中恢复能跨不同动力学环境迁移的奖励,而专家示范代价高昂,关键在于选对采集示范的动力学。两阶段方法先轮换可用动力学得到可靠的奖励估计,再主动选择动力学以降低对专家奖励的不确定性,由此给出对任意动力学成立、速率与可用动力学数量无关的迁移样本复杂度保证。实验上,该方法显著减少了学习可迁移奖励所需的专家示范数量。
逆强化学习要从专家示范中恢复能跨不同动力学环境迁移的奖励,而专家示范代价高昂,关键在于选对采集示范的动力学。两阶段方法先轮换可用动力学得到可靠的奖励估计,再主动选择动力学以降低对专家奖励的不确定性,由此给出对任意动力学成立、速率与可用动力学数量无关的迁移样本复杂度保证。实验上,该方法显著减少了学习可迁移奖励所需的专家示范数量。
已读完全部报道