分布式训练的任务分配不再假设工人速度不变:滑动窗口让慢节点漂移时仍能跟上
自适应任务分配此前只在工人计算时间固定的假设下才有理论保证,一旦共享集群里出现资源争抢、后台任务或网络拥塞,原本快的工人会临时变慢,旧分配随之失效。新的滑动窗口自适应任务分配(SW-ATA)用最近一段观测估计每个工人的延迟均值,并按置信下界选择分配,从而在延迟分布逐轮变化时仍能跟踪快工人。在合成漂移延迟的分布式随机优化实验中,它明显优于原自适应分配和均匀分配,运行时间接近已知真实均值的理想分配,同时消耗的工人时间最少。
自适应任务分配此前只在工人计算时间固定的假设下才有理论保证,一旦共享集群里出现资源争抢、后台任务或网络拥塞,原本快的工人会临时变慢,旧分配随之失效。新的滑动窗口自适应任务分配(SW-ATA)用最近一段观测估计每个工人的延迟均值,并按置信下界选择分配,从而在延迟分布逐轮变化时仍能跟踪快工人。在合成漂移延迟的分布式随机优化实验中,它明显优于原自适应分配和均匀分配,运行时间接近已知真实均值的理想分配,同时消耗的工人时间最少。
该工作把离线 harness 优化中的训练场景选择形式化为自动课程学习问题,提出 ActiveSaddler:用非平稳多臂老虎机把反复出现的失败抽象为可复用的失败模式臂,估计每个臂的潜在学习进展并自适应平衡重访已知弱点与探索未见场景,在 GAIA2 和 Terminal-Bench 2.0 上相比同一优化器使用固定场景顺序分别把测试 Pass@1 提升 4.4 和 7.5 个百分点。
已读完全部报道