缩放定律在有限预算下弯折:谱与数据异质性让最优分配指数随规模漂移
经典神经缩放定律把超额风险写成容量与数据规模的幂律,并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开,用KKT对偶把多域混合化为标量注水,并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上,估计器给出留出误差并降低高算力分配遗憾。
经典神经缩放定律把超额风险写成容量与数据规模的幂律,并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开,用KKT对偶把多域混合化为标量注水,并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上,估计器给出留出误差并降低高算力分配遗憾。
已读完全部报道