分布式训练的任务分配不再假设工人速度不变：滑动窗口让慢节点漂移时仍能跟上
核心概要
自适应任务分配此前只在工人计算时间固定的假设下才有理论保证，一旦共享集群里出现资源争抢、后台任务或网络拥塞，原本快的工人会临时变慢，旧分配随之失效。新的滑动窗口自适应任务分配（SW-ATA）用最近一段观测估计每个工人的延迟均值，并按置信下界选择分配，从而在延迟分布逐轮变化时仍能跟踪快工人。在合成漂移延迟的分布式随机优化实验中，它明显优于原自适应分配和均匀分配，运行时间接近已知真实均值的理想分配，同时消耗的工人时间最少。
深度剖析
任务分配算法现在可以按最近一段时间的观测来估计工人速度，而不是把整段历史平均成一个固定值。 此前的自适应任务分配只针对计算时间不随迭代变化的场景，其理论保证也建立在这一假设上。 在工人延迟均值按减速正弦漂移的合成分布式随机优化实验中，滑动窗口版本明显优于原自适应分配和均匀分配，运行时间接近已知真实均值的理想分配。
算法在每个迭代先给出分配，再观测各工人完成任务的耗时，用这些耗时更新对工人延迟均值的估计。 它沿用置信下界思路，即按乐观估计选择分配，但把统计量限制在长度为窗口的最近观测上，以遗忘过时数据。 窗口大小需要权衡：窗口太小则均值估计不准，窗口太大则把过时观测算进来，例如工人先快后慢时会产生偏差。
在延迟分布固定的场景下，新的计数论证把遗憾界中对次优间隙的依赖从平方量级降到线性量级。 此前对自适应任务分配的分析用最坏情况分配替代实际分配，在批量较大时偏松。 在批量远大于工人数的算例中，旧间隙项随工人数增长而新界保持更小，两者差距可以任意大。
启示与展望
报告覆盖的是延迟分布固定与逐轮漂移两种设定下的任务分配问题，读者对象是研究分布式优化调度与在线学习的工程师。实验在合成漂移延迟的分布式随机优化上进行，工人池规模为若干档，延迟均值按减速正弦变化。理论部分给出了固定场景的改进遗憾界、漂移场景的滑动窗口保证，以及两种批量情形下的下界。
漂移场景的保证依赖变化预算这一量，实际系统中该量未知，窗口大小需要按参考预算选取。上界与下界在批量参数上的依赖尚未对齐，设计能同时匹配两者的算法仍是开放问题。实验中的延迟漂移由构造的正弦规律生成，未覆盖真实集群中更突发的速度变化。