零阶微调不再均匀抽样本：按样本重要性分配查询，收敛到同一损失最多快6倍

零阶优化微调大语言模型时，样本不再被同等对待，而是按各自的重要性分配查询预算。 此前的零阶方法通常对训练样本做均匀采样，忽略了样本重要性会随训练变化，从而留下本可避免的估计方差。 在四个模型族上的实验显示平均下游性能提升，并且按查询次数计，收敛到同一训练损失最多快6倍。

样本重要性从已有的方向差分中读出来，不需要真实梯度，也不需要额外的模型评估。 做法是从方向差分里提取梯度范数信息来估计样本重要性，并用每个样本各自的指数滑动平均，把稀疏小批量反馈中的观测跨更新累积起来，以跟踪不断变化的重要性。 相比MeZO，该方法只多出$O(N)$的标量状态；理论上其收敛的渐近主项与最小方差采样预言机一致，收敛速率严格快于标准方法。

报道覆盖的是零阶优化微调大语言模型这一设定：读者是关心显存受限微调的研究人员与工程师。材料说明该方法在四个模型族上做了实验，并给出收敛性证明；除此之外的模型规模、任务类型与部署条件，材料没有展开。

材料称该方法渐近匹配最小方差采样预言机的收敛主项，并严格快于标准方法，这是理论层面的表述；实验部分只说明在四个模型族上平均下游性能提升、查询数最多减少到六分之一，未给出逐模型的差异。