# 缩放定律

10 篇关联报道

订阅更新

arXiv 2026年11月10日
推荐系统A/B实验不必每次全量重训：小规模实验拟合缩放律，就能预判特征改动是否值得上线
推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。
推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。
Zhiliang Chen（第一作者）
特征不变缩放定律 A/B实验缩放定律推荐系统预测区间
arXiv 2026年11月6日
e-means 把 k-means 收敛压到十分之一轮次：100 亿嵌入聚类在 GPU 上快 9.5 到 45.5 倍
e-means 把 k-means 的质心更新换成小批量指数移动平均，并用拟合出的缩放律从问题规模直接定出批大小与步长，不再需要超参数扫描。在多个嵌入数据集上，它用 1.4 到 2.6 个 epoch 就达到 Lloyd k-means 跑 25 个 epoch 的损失，对应相对 Flash-KMeans 的 9.5 到 45.5 倍实际耗时加速，并在收敛后损失更低。在 100 亿向量的 DINO10B 上，精确分配版本用 2.5 个 epoch 把向量分成 1600 万个簇，损失低于 Lloyd 跑 25 个 epoch 的结果。
e-means 把 k-means 的质心更新换成小批量指数移动平均，并用拟合出的缩放律从问题规模直接定出批大小与步长，不再需要超参数扫描。在多个嵌入数据集上，它用 1.4 到 2.6 个 epoch 就达到 Lloyd k-means 跑 25 个 epoch 的损失，对应相对 Flash-KMeans 的 9.5 到 45.5 倍实际耗时加速，并在收敛后损失更低。在 100 亿向量的 DINO10B 上，精确分配版本用 2.5 个 epoch 把向量分成 1600 万个簇，损失低于 Lloyd 跑 25 个 epoch 的结果。
Swann Bessa（第一作者）
e-means算法 K均值聚类缩放定律近似最近邻搜索
arXiv 2026年11月4日
Meta把排序模型的缩放律交给自动搜索：34次上线平均降0.66%归一化熵，线上累计提升0.36%
Meta 的广告排序与检索模型族不再靠人工逐个模型试算容量分配。此前每个模型的缩放决策要花数天到数周训练，且架构维度相互耦合、难以单独放大。Axia 用缩放层把嵌入维度、交互深度和交互宽度三个控制量映射成完整架构，再用贝叶斯代理模型挑选少量训练试验。在两个开发周期的 34 次模型迭代中，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%。
Meta 的广告排序与检索模型族不再靠人工逐个模型试算容量分配。此前每个模型的缩放决策要花数天到数周训练，且架构维度相互耦合、难以单独放大。Axia 用缩放层把嵌入维度、交互深度和交互宽度三个控制量映射成完整架构，再用贝叶斯代理模型挑选少量训练试验。在两个开发周期的 34 次模型迭代中，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%。
John Martabano Landy（第一作者）
Axia缩放定律发现系统缩放定律贝叶斯优化推荐系统
arXiv 2026年10月29日
表征不必靠规模对齐：正视图让1.09亿参数文本编码器在PRH基准上超过720亿参数语言模型
研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说，在JEPA（联合嵌入预测架构）上变成可证明的定理：只要各模态的正样本对描述同一世界状态，分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”，在相同文本与编码器下正视图对齐最好；一个1.09亿参数的文本JEPA在PRH基准上达到.184，高于所评估的全部语言模型（最高720亿参数，.154）。
研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说，在JEPA（联合嵌入预测架构）上变成可证明的定理：只要各模态的正样本对描述同一世界状态，分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”，在相同文本与编码器下正视图对齐最好；一个1.09亿参数的文本JEPA在PRH基准上达到.184，高于所评估的全部语言模型（最高720亿参数，.154）。
New York University Brown University
Randall Balestriero（第一作者）
柏拉图表示假说好视图JEPA 下一词元预测缩放定律
arXiv 2026年10月28日
图像生成拆成两步：先学语义再渲染，3B模型用6600 H100小时到GenEval 0.86
视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。
视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。
Yucheng Mao（第一作者）
文本到图像生成自回归预训练缩放定律视觉分词器流匹配
arXiv 2026年10月14日
多模态预训练不再靠试错：268次实验给出文本、视觉、音频的数据配比规律
一项覆盖文本、视觉、音频三种模态的混合专家预训练研究，用268次实验拟合出数据配比规律，并给出可操作的分配结论：音频更该把算力花在参数上，视觉和音频数据重复超过两遍收益很小，视觉对音频的干扰最强。
University of Washington McGill University
Aditi Khandelwal（第一作者）
缩放定律多模态数据配比跨模态迁移混合专家模型
arXiv 2026年10月6日
统一缩放律在留出的 Toto 2.0 上以 1.09% 与 1.50% 的 MAPE 预测容量曲线，并用激活干预证明冻结时序基础模型可跨查询复用历史规则
该工作基于 21 个检查点、23 个数据集-频率任务、六个领域的 18,768 个实验单元，拟合出一个五参数统一缩放律，把容量、输入长度与预测步长联系起来，并在完全留出的 Toto 2.0 系列（约 4M–2.5B 参数）上以 1.09%（输入 2048）和 1.50%（输入 4096）的 MAPE 预测其按步长平均的容量缩放曲线；同时提出统一时序学习理论，用高斯回归与匹配历史比较、参数交换和激活干预，支持全样本模型在权重中累积规则信息、冻结时序基础模型通过激活提取并跨查询复用历史规则的解释。
该工作基于 21 个检查点、23 个数据集-频率任务、六个领域的 18,768 个实验单元，拟合出一个五参数统一缩放律，把容量、输入长度与预测步长联系起来，并在完全留出的 Toto 2.0 系列（约 4M–2.5B 参数）上以 1.09%（输入 2048）和 1.50%（输入 4096）的 MAPE 预测其按步长平均的容量缩放曲线；同时提出统一时序学习理论，用高斯回归与匹配历史比较、参数交换和激活干预，支持全样本模型在权重中累积规则信息、冻结时序基础模型通过激活提取并跨查询复用历史规则的解释。
Chinese University of Hong Kong
Xilin Dai（第一作者）
注意力因果干预时间序列预测缩放定律时间序列基础模型上下文学习
arXiv 2026年10月1日
800个模型预训练显示：野生AI网页文本在数据充足时抬高损失，31.1%的AI占比需多花1.6倍算力
研究者用EditLens与Pangram标注2021至2026年的Common Crawl网页数据，发现2026年6月通过FineWeb质量过滤的token中有27.5%为AI生成、8月升至31.1%，并预训练800个19.9M至973M参数的模型、改变AI与人类token比例，拟合出含独立收益项与损害项的新缩放律：AI token对数据匮乏模型先降损失后饱和反转，对Chinchilla最优预算模型几乎立即抬高损失，该律在留出规模上预测误差低于11个已有缩放律，并据此估算按2026年8月AI占比训练需1.6倍算力。
研究者用EditLens与Pangram标注2021至2026年的Common Crawl网页数据，发现2026年6月通过FineWeb质量过滤的token中有27.5%为AI生成、8月升至31.1%，并预训练800个19.9M至973M参数的模型、改变AI与人类token比例，拟合出含独立收益项与损害项的新缩放律：AI token对数据匮乏模型先降损失后饱和反转，对Chinchilla最优预算模型几乎立即抬高损失，该律在留出规模上预测误差低于11个已有缩放律，并据此估算按2026年8月AI占比训练需1.6倍算力。
University of Maryland, College Park
Jenna Russell（第一作者）
缩放定律 AI生成的网络文本 WildAI语料库语言模型预训练
arXiv 2026年10月1日
循环混合专家模型首次拥有联合缩放定律：稀疏度把循环的有效参数增益抬高并延后饱和
该工作提出 Loop Scaling Laws，首次把循环（recurrence）与 MoE 稀疏度同模型规模、训练数据一起纳入同一个缩放定律，用一个有界且以稀疏度为条件的循环映射刻画循环带来的有效参数增益及其饱和点，在留出集上比线性与幂律映射预测损失更准，并据此在算力与显存约束下选择循环次数与专家数，在万亿 token 规模上让 0.3B 激活/1.3B 总参数的循环 MoE 在推理基准上追平约 2 倍大的非循环 MoE。
该工作提出 Loop Scaling Laws，首次把循环（recurrence）与 MoE 稀疏度同模型规模、训练数据一起纳入同一个缩放定律，用一个有界且以稀疏度为条件的循环映射刻画循环带来的有效参数增益及其饱和点，在留出集上比线性与幂律映射预测损失更准，并据此在算力与显存约束下选择循环次数与专家数，在万亿 token 规模上让 0.3B 激活/1.3B 总参数的循环 MoE 在推理基准上追平约 2 倍大的非循环 MoE。
Yanbei Chen（第一作者）
缩放定律循环Transformer 混合专家模型测试时扩展
arXiv 2026年10月1日
浙大团队用Qwen2.5从0.5B到14B做25组同族在线蒸馏，发现峰值能力可由学生规模与教师得分提前预测，弱教师反而教出更强的学生
该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。
该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。
Zhejiang University Kuaishou (China)
Yuntai Bao（第一作者）
在线策略蒸馏缩放定律弱到强迁移能力迁移 Qwen2.5

已读完全部报道