Yuchen Jiao

针对总变差不确定集下的鲁棒马尔可夫决策过程，一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹，不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新，空间复杂度为 $|S||A|$，达到逐元素 $\epsilon$ 精度所需的样本量在忽略对数因子时为 $\frac{|S||A| t_{\mathrm{mix}}}{\epsilon^2 \mu_{\min}}$ 量级，并带有 Q学习固有的额外因子。

针对总变差不确定集下的鲁棒马尔可夫决策过程，一种无模型异步Q学习算法只依赖行为策略产生的单条马尔可夫轨迹，不需要生成模型或查询任意状态动作对。它用重采样构造替代下一状态来估计鲁棒贝尔曼更新，空间复杂度为 $|S||A|$，达到逐元素 $\epsilon$ 精度所需的样本量在忽略对数因子时为 $\frac{|S||A| t_{\mathrm{mix}}}{\epsilon^2 \mu_{\min}}$ 量级，并带有 Q学习固有的额外因子。