Meta把排序模型的缩放律交给自动搜索：34次上线平均降0.66%归一化熵，线上累计提升0.36%
核心概要
Meta 的广告排序与检索模型族不再靠人工逐个模型试算容量分配。此前每个模型的缩放决策要花数天到数周训练，且架构维度相互耦合、难以单独放大。Axia 用缩放层把嵌入维度、交互深度和交互宽度三个控制量映射成完整架构，再用贝叶斯代理模型挑选少量训练试验。在两个开发周期的 34 次模型迭代中，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%。
深度剖析
排序模型的容量分配从逐模型人工试算改为一条可复用的自动流程，在 Meta 广告排序与检索模型族上给出每个模型自己的复杂度—质量关系。 此前这类分配由人工逐个模型完成，每个决策要付出数天到数周的训练代价，而排序模型容量分散在多个相互耦合的架构维度上，不能只靠参数量概括。 在两个开发周期共 34 次模型迭代上，所选配置替换原部署基线后，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%；两个周期分别为 11 个模型 0.66% 和 23 个模型 0.67%。
流程把架构参数收进一个低维控制空间，再用不确定性感知的批量选择决定下一次训练哪个配置。 缩放层把原始架构参数按语义分组，每组只由一个控制量统一驱动，因此模型可以在任意目标规模上被一致地实例化，而不会比例失调。 生产参数化取交互深度、交互宽度和嵌入维度三个坐标；在固定 20 次完整训练（16 次初始化加 4 次自适应）的预算下，三维参数化在该代表模型上取得最强前沿，六维反而更低。
候选生成用带缩放先验的代理模型替代穷举扫描，并按部署目标切换采集准则。 对照包括随机 Sobol 采样、默认贝叶斯优化、带成本画像的贝叶斯优化、开环代理模型和两种网格搜索，均在匹配预算下比较。 在 160 MFLOPs 上限下，Axia 的最优可行归一化熵相对随机、默认贝叶斯优化和开环代理分别降低 0.070%、0.059% 和 0.042%，超体积分别高 24.5%、19.0% 和 7.9%；相对带成本画像的贝叶斯优化，归一化熵降低 0.041%，超体积高 1.0%。
启示与展望
已展示的范围是 Meta 广告排序与检索模型族上的两个已完成开发周期、共 34 次模型迭代，第三个周期仍在进行且未报告；受控消融在单一代表模型上、以 20 次完整训练为匹配预算、以每样本 160 MFLOPs 为成本上限。
线上 0.36% 是两个周期各自上线提升在互不重叠模型集上的加总，不是单独测得的总体效应；离线结果的标准差为 0.59 个百分点，且带成本画像的贝叶斯优化对照存在一处实现缺陷，作者指出这可能高估 Axia 其余改动的贡献。