arXiv 2026年10月12日零阶微调不再均匀抽样本:按样本重要性分配查询,收敛到同一损失最多快6倍零阶微调此前对训练样本一视同仁,SAZO改为在线学习每个样本的重要性并据此分配查询,在四个模型族上平均下游性能提升,达到同一训练损失所需查询数最多减少到六分之一。零阶微调此前对训练样本一视同仁,SAZO改为在线学习每个样本的重要性并据此分配查询,在四个模型族上平均下游性能提升,达到同一训练损失所需查询数最多减少到六分之一。Peking UniversityHaiyuan Wan(第一作者)#样本自适应零阶优化#零阶优化#大语言模型