跳到主要内容
检索

# 数据混合

1 篇关联报道

订阅更新
  1. arXiv

    缩放定律在有限预算下弯折:谱与数据异质性让最优分配指数随规模漂移

    经典神经缩放定律把超额风险写成容量与数据规模的幂律,并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开,用KKT对偶把多域混合化为标量注水,并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上,估计器给出留出误差并降低高算力分配遗憾。

已读完全部报道