缩放定律在有限预算下弯折：谱与数据异质性让最优分配指数随规模漂移
核心概要
经典神经缩放定律把超额风险写成容量与数据规模的幂律，并假定最优算力分配指数在各尺度上不变。该分析用Mellin–Barnes围道积分把容量轴上的有限尺度偏离拆成三项展开，用KKT对偶把多域混合化为标量注水，并证明分配指数随容量与数据指数方差成比例漂移。在45组算子谱、Pythia、Chinchilla的245次运行与RegMix的17个域上，估计器给出留出误差并降低高算力分配遗憾。
深度剖析
有限预算下的学习曲线不再被当作一条直线幂律，容量轴上的偏离被写成三项展开，其中谱几何项与正则化滤波项以相反符号拉扯局部斜率。 经典形式把超额风险视为可分离的尺度不变幂律，并据此预测对数风险线性下降、最优模型与数据配比在对数坐标中是一条直线。 在覆盖滤波指数、源衰减与流形维度的36格因子网格加9个极点碰撞与梯度流切片共45组谱配置上，把局部斜率偏差按解析峰值归一后，四类系统落到同一条单参数主曲线上，最大偏差达到机器精度。
多域混合的最优解可以化成一维求根，训练过程中按边际把配额持续偏向学习更慢的瓶颈域。 实践中域混合常由固定启发式或小规模代理回归选定，而当各域样本指数不同时，任何静态混合都会随总预算增大而次优。 在三域与四域混合上，按各域交叉预算归一后的份额比落在精确反比律上；大预算下快速域残余质量始终留在解析夹逼带内，闭式近似以二次速率收敛。
算力最优分配指数并非恒定，它随容量侧与数据侧指数方差之差漂移，而冻结超参数会额外把估计值向上偏。 已有报告的最优分配指数从Kaplan等人的取值到Chinchilla的取值不等，此前缺少把真实尺度漂移与冻结超参数偏差分开的解析框架。 在Chinchilla的245次运行上，用221次小规模试点拟合、24个大模型留出评估，剔除高损失短程运行后估计指数下降，并把留出MAPE从原始幂律的水平进一步压低。
启示与展望
分析针对可分离的容量与数据风险、代数谱衰减以及沿等算力切片的严格凸性假设；经验验证限于Pythia的Standard与Deduped Pile、Chinchilla的245次运行和RegMix的17个训练域，且Chinchilla部分使用数字化后只记录三元组、没有逐次学习率日程的数据。
Chinchilla数据缺少逐次学习率日程，高损失短程运行只能按阈值经验过滤；多幂律在窄试点跨度上的病态与秩亏是结构性结论，外推精度仍取决于试点跨度与噪声水平。