TACO 优化器将 LLM 全参数微调的优化器状态内存压缩 174 倍，并在单张 80GB H100 上微调 30-32B 模型
作者提出 TACO 优化器，在维度归一化的 1→1 算子范数下取二维权重矩阵每列最大幅值元素的符号作为精确最速下降方向，仅保留每列少量低精度梯度分量，在 OPT-13B 上把持久优化器状态相对 AdamW8bit 减少 174 倍（27.7 GB 降至 0.16 GB）、峰值训练内存减少 2.9 倍（80.6 GB 降至 27.5 GB），精度与运行时间相当，并支持在单张 80 GB H100 上对 30-32B 参数模型做全参数微调。