鲁棒Q学习不再需要生成模型：单条马尔可夫轨迹即可，样本复杂度接近极小极大最优

鲁棒强化学习现在可以在只有一条由行为策略产生的马尔可夫轨迹、且不估计转移核的条件下做无模型Q学习，空间开销与存储Q函数同阶。 此前的无模型鲁棒方法要么依赖可查询任意状态动作对的生成模型，要么在异步设定下用对偶变量随机梯度上升，其Q函数收敛率明显慢于标准Q学习。 在总变差距离定义的不确定集下，该算法达到逐元素 $\epsilon$ 近似的样本复杂度在忽略对数因子时为 $\frac{|S||A| t_{\mathrm{mix}}}{\epsilon^2 \mu_{\min}}$，其中 $t_{\mathrm{mix}}$ 是混合时间、$\mu_{\min}$ 是轨迹平稳分布下最小状态动作占用概率。

算法把鲁棒贝尔曼更新中的最坏情况期望换成一次重采样得到的替代下一状态，从而不必显式估计转移核。 总变差不确定集允许把至多 $\rho$ 的概率质量从高价值状态转移到价值最低的状态，因此最坏情况核可以由阈值和重采样概率刻画。 阈值与重采样概率用二分法从轨迹样本在线估计，并按阶段固定价值函数、把估计与使用分开；在二状态二动作的鲁棒MDP数值实验中，经验样本复杂度随有效时域和不确定水平的变化趋势与理论预测一致。

结论针对折扣无限时域、表格型、总变差距离定义且满足矩形性的不确定集，数据为单一行为策略产生的马尔可夫轨迹；作者另给出生成模型（同步）设定下的对应样本复杂度。

样本复杂度相对极小极大下界多出一个 Q学习固有的额外因子，作者认为它在鲁棒情形下也不可避免，但尚未严格证明；重采样方案针对总变差不确定集设计，向其他不确定集的推广留待后续工作。