# 随机逼近的Edgeworth展开

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。