# 推荐系统

推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。

推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。

Meta 的广告排序与检索模型族不再靠人工逐个模型试算容量分配。此前每个模型的缩放决策要花数天到数周训练，且架构维度相互耦合、难以单独放大。Axia 用缩放层把嵌入维度、交互深度和交互宽度三个控制量映射成完整架构，再用贝叶斯代理模型挑选少量训练试验。在两个开发周期的 34 次模型迭代中，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%。

Meta 的广告排序与检索模型族不再靠人工逐个模型试算容量分配。此前每个模型的缩放决策要花数天到数周训练，且架构维度相互耦合、难以单独放大。Axia 用缩放层把嵌入维度、交互深度和交互宽度三个控制量映射成完整架构，再用贝叶斯代理模型挑选少量训练试验。在两个开发周期的 34 次模型迭代中，离线归一化熵平均相对改善 0.66%，线上关键指标累计提升 0.36%。

一种把延迟奖励按“解释”而非时间远近重新分配的信用分配框架，在Crafter、WordCraft、KuaiRand和工业级生成式推荐器上，把稀疏终端奖励的学习信号追回到数百步之前真正起作用的动作。

一种把延迟奖励按“解释”而非时间远近重新分配的信用分配框架，在Crafter、WordCraft、KuaiRand和工业级生成式推荐器上，把稀疏终端奖励的学习信号追回到数百步之前真正起作用的动作。

该工作提出并部署了一套自演化推荐系统，用Gemini系列LLM智能体充当机器学习工程师，通过离线快速循环（Offline Agent，每5分钟唤醒、每日运行）生成并离线打分候选配置、在线慢速循环（Online Agent，每日运行）排序并推进A/B实验，在YouTube多个推荐场景中自主发现了优化器切换（Adagrad→RMSprop、FTRL）、Gated Path（GLU）架构、激活精化、多目标奖励合成与奖励超参调优等改动，多项在线指标在95%置信水平上显著提升，并将实验吞吐从每周Θ(1)–Θ(10)提升到Θ(100)。

该工作提出并部署了一套自演化推荐系统，用Gemini系列LLM智能体充当机器学习工程师，通过离线快速循环（Offline Agent，每5分钟唤醒、每日运行）生成并离线打分候选配置、在线慢速循环（Online Agent，每日运行）排序并推进A/B实验，在YouTube多个推荐场景中自主发现了优化器切换（Adagrad→RMSprop、FTRL）、Gated Path（GLU）架构、激活精化、多目标奖励合成与奖励超参调优等改动，多项在线指标在95%置信水平上显著提升，并将实验吞吐从每周Θ(1)–Θ(10)提升到Θ(100)。