# Q学习

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。

同步Q-learning的收敛分析通常只保留高斯极限，而中心极限归一化会把初始非线性演化产生的较小尺度位移抹掉。该分析把最后一次迭代误差拆成最优策略时序差分分量与最大化造成的非负位移，证明后者在n^-1/4尺度上几乎必然收敛到一个随机极限，并用Edgeworth展开给出高斯近似的修正项。在一个两状态算例中，一阶修正密度比中心极限定理的高斯密度更接近经验分布。

随机混合系统的仿真此前只能处理离散的非确定性选择，一旦动作可在时间区间内任取，单个状态就有无穷多种选择。新方法把每个动作对应的时间区间分别离散化，用Q学习在有限抽象上学习调度，同时用预计算的符号可达状态引导仿真、按构造正确性剪掉不可达区域。在水箱基准上，仿真复现了已有方法给出的最大可达概率；在引入低概率下溢目标的水箱变体中，引导使学习明显快于无引导仿真，目标可达概率至少为45%。

随机混合系统的仿真此前只能处理离散的非确定性选择，一旦动作可在时间区间内任取，单个状态就有无穷多种选择。新方法把每个动作对应的时间区间分别离散化，用Q学习在有限抽象上学习调度，同时用预计算的符号可达状态引导仿真、按构造正确性剪掉不可达区域。在水箱基准上，仿真复现了已有方法给出的最大可达概率；在引入低概率下溢目标的水箱变体中，引导使学习明显快于无引导仿真，目标可达概率至少为45%。

该工作提出 CleanSurvival，一个基于强化学习（Q-learning）的自动化数据预处理框架，专门面向删失数据的时间到事件（生存分析）模型：它从数据插补、异常值检测与特征提取技术的组合中，为 Cox、随机森林、神经网络或用户自定的时间到事件模型挑选最优预处理流程；在真实数据集基准上，这种基于 Q-learning 的预处理相对简单基线提升了预测表现，运行时间行为依条件而定，并在覆盖最充分的基准单元中最清晰可解释；模拟研究进一步显示其在不同类型与程度的缺失和噪声下均有效。

该工作提出 CleanSurvival，一个基于强化学习（Q-learning）的自动化数据预处理框架，专门面向删失数据的时间到事件（生存分析）模型：它从数据插补、异常值检测与特征提取技术的组合中，为 Cox、随机森林、神经网络或用户自定的时间到事件模型挑选最优预处理流程；在真实数据集基准上，这种基于 Q-learning 的预处理相对简单基线提升了预测表现，运行时间行为依条件而定，并在覆盖最充分的基准单元中最清晰可解释；模拟研究进一步显示其在不同类型与程度的缺失和噪声下均有效。