Meta的LEAP在提交时预测训练吞吐:30次夜间重训中位准确率77%,替代查表法
Meta 的 LEAP 在训练作业提交时预测它在每种候选硬件上的吞吐,并按单位成本吞吐排序,供集群调度器参考。它取代了按模型类型、训练器数、批大小和硬件类型查表的旧方案,旧表只覆盖13%的作业尝试。30次夜间重训的中位准确率为77%,在旧表覆盖的946个作业上,LEAP 有85.1%的预测落在实测值±20%以内,旧表为53.2%。
Meta 的 LEAP 在训练作业提交时预测它在每种候选硬件上的吞吐,并按单位成本吞吐排序,供集群调度器参考。它取代了按模型类型、训练器数、批大小和硬件类型查表的旧方案,旧表只覆盖13%的作业尝试。30次夜间重训的中位准确率为77%,在旧表覆盖的946个作业上,LEAP 有85.1%的预测落在实测值±20%以内,旧表为53.2%。
已读完全部报道