# 马尔可夫决策过程

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。

该工作把社会法则从确定性的目标驱动设定扩展到随机的、奖励驱动的多智能体环境，提出以α-鲁棒性衡量每个智能体在遵守社会法则时能保留的保证效用比例，并给出一种通过求解一系列马尔可夫决策过程（MDP）来验证鲁棒性的方法，在若干网格玩具环境上的实验显示：当动作成功概率为1时，平行车道、对向车道以及带顺时针社会法则的交叉场景可达到α=1的鲁棒性，而强制慢速等社会法则并不总能提升保证效用。

该工作把社会法则从确定性的目标驱动设定扩展到随机的、奖励驱动的多智能体环境，提出以α-鲁棒性衡量每个智能体在遵守社会法则时能保留的保证效用比例，并给出一种通过求解一系列马尔可夫决策过程（MDP）来验证鲁棒性的方法，在若干网格玩具环境上的实验显示：当动作成功概率为1时，平行车道、对向车道以及带顺时针社会法则的交叉场景可达到α=1的鲁棒性，而强制慢速等社会法则并不总能提升保证效用。