可迁移奖励不必靠海量专家示范：主动挑选动力学，两阶段方法减少所需示范

逆强化学习的目标是从专家示范中恢复奖励，并让这个奖励在动力学不同的环境之间迁移；新方法把在哪些动力学下采集专家示范本身当作需要主动决定的问题。 此前已有工作表明，当专家示范覆盖足够不同的动力学时这种迁移是可能的，但示范代价高昂，因此需要挑选合适的动力学来减少所需专家数据量。 这一对照来自既有工作对迁移可行条件的说明，新方法正是在此条件下把动力学选择纳入学习过程。

方法分两阶段运行：先轮换遍历可用的动力学，得到一份可靠的奖励估计，再主动选择动力学，以降低对专家奖励的不确定性。 这种两阶段设计把轮换估计与主动选择结合起来，第二阶段的选择依据是对专家奖励的不确定性。 该流程在可用动力学集合上运行，并由此得到迁移的样本复杂度保证，且该保证对任意动力学成立。

理论结果给出迁移的样本复杂度保证，其速率不随可用动力学数量增长。 该保证的形式是速率与可用动力学数量无关，同时适用于任意动力学。 保证对任意动力学成立，速率与可用动力学数量无关。

实验上，该方法显著减少了学习可迁移奖励所需的专家示范数量。 减少的对象是学习可迁移奖励所需的专家示范数量，与摘要所述目标一致。 这一结论来自对所提方法的实证评估，材料未给出具体环境、示范数量或对比基线数值。

所描述的方法针对存在多个可用动力学、且专家示范可在这些动力学下采集的设定；理论保证对任意动力学成立，速率与可用动力学数量无关。材料未提出下一步实验或部署建议。

实证结论以显著减少所需专家示范数量表述，材料未给出具体环境、示范数量或对比基线数值；样本复杂度保证的成立条件在摘要中仅以对任意动力学成立概括。