随机混合系统的仿真不再只处理离散选择：把时间不确定性离散化后，Q学习也能在连续模型上定出最优调度
核心概要
随机混合系统的仿真此前只能处理离散的非确定性选择，一旦动作可在时间区间内任取，单个状态就有无穷多种选择。新方法把每个动作对应的时间区间分别离散化，用Q学习在有限抽象上学习调度，同时用预计算的符号可达状态引导仿真、按构造正确性剪掉不可达区域。在水箱基准上，仿真复现了已有方法给出的最大可达概率；在引入低概率下溢目标的水箱变体中，引导使学习明显快于无引导仿真，目标可达概率至少为45%。
深度剖析
随机混合系统的仿真现在能处理时间不确定性，而不只是离散的非确定性选择。 此前的仿真学习只覆盖离散非确定性选择；时间不确定性更棘手，因为单个状态内就存在无穷多种可选时刻。 在水箱基准上，仿真得到的最大可达概率与已有PLT方法的结果一致，除一个训练不足的配置外，所有置信区间都与PLT结果相容。
做法是把连续模型抽象成有限的状态与动作空间，再让Q学习在其中挑选调度。 Q学习需要有限的状态和动作空间，因此对连续状态按固定粒度分箱，并把每个动作对应的时间区间按同一粒度离散化。 学习在离散抽象上进行，而每次仿真仍在原始连续模型上执行；在运行示例中，仿真结果与解析计算的期望最大可达概率相符，偏差落在置信区间宽度之内。
符号预计算给出可达状态树，用来提前终止不可能到达目标的仿真。 引导并非总是划算：在原版水箱模型中，随机阻塞时间主导可达概率，引导只能剪掉很小一部分搜索空间。 在引入时间不确定性和低概率下溢目标的水箱变体中，引导仿真在合理训练轮数下明显优于无引导仿真，并在粒度0.05、10亿轮训练时给出至少45%的可达概率。
启示与展望
已演示的范围是带随机时钟的奇异自动机这一类随机混合模型，仿真器集成在RealySt中，支持可配置的学习参数、离散化设置和两类调度器。评估覆盖运行示例、原版水箱基准，以及加入时间不确定性和下溢目标的水箱变体。后续工作指向更丰富的随机混合模型类、更高效的符号表示与剪枝，以及把引导仿真推广到最小可达概率的计算。
引导的收益强烈依赖目标性质：原版水箱模型中引导没有带来加速，因为随机阻塞时间主导可达概率，且可达树构造的扩展性不佳。下溢变体需要很细的粒度，粒度0.05时Q表状态数达1217万，需要10亿轮训练才能得到至少45%的估计，而无引导仿真在该规模下不可行。一个配置的偏差被归因于训练不足，作者也指出这暴露了纯仿真方法的局限。