训练算法不再靠调参：AlgoPerf v1 自调赛道，Schedule-Free AdamW 用一套超参跑赢 13 份提交

训练算法的比较现在有了一个不靠逐任务调参的赛道：每份提交只交一套超参，就要在九个不同领域的工作负载上跑出到目标的时间。 此前的 AlgoPerf v0.5 用 A100 之前的硬件和旧预算，外部调参赛道允许按任务采样超参，自调赛道则没有超参采样。 v1 把固定硬件升级到 40 GB 的 GPU 配置、按新硬件重新校准运行预算，并新增一个基于 FineWeb-Edu 10B 的 decoder-only 语言建模工作负载，13 份 PyTorch 与 JAX 提交在同一套规则下比较。

排名第一的是 Schedule-Free AdamW v2（PyTorch），它靠动量插值与动态迭代平均去掉学习率衰减调度，同时维护批归一化统计量。 旧版 Schedule-Free AdamW 提交没有批归一化修正，在依赖批归一化的任务上验证精度会明显退化。 v2 在训练前向反向传播时用批内统计量、关闭运行缓冲区更新，并每三个训练步在评估权重上额外做一次前向以校准运行统计量，使 ImageNet ResNet-50 从失败变为稳定运行，并在九个工作负载中的六个上达到验证目标。

这份报告面向需要选择或实现训练优化器的研究人员与工程师，覆盖 AlgoPerf v1 自调赛道上的 13 份 PyTorch 与 JAX 提交，评价指标是固定硬件上的墙钟时间到目标。报告同时给出逐步效率、放宽目标、超参显著性与保留率分析，并说明矩阵预条件与双环方法在每步效率上更强、但需要参数分片等系统优化才能在运行时间上有竞争力。

报告指出逐步效率分析中，未在墙钟预算内达到目标的提交在该实例上仍记为无穷分，理想情况下还需要提交在某个步数预算内的数据。放宽目标分析中，同一相对放宽比例在不同工作负载上并不等宽，例如基线 NAdamW 在 Criteo 1TB 上只需默认目标约 5% 的时间，而在 FineWeb-Edu 10B 上约 75%。JAX 与 PyTorch 之间仍存在按工作负载变化的单步时间差异，ResNet 与 ViT 为何明显偏向 JAX 仍在调查中。