推荐系统A/B实验不必每次全量重训：小规模实验拟合缩放律，就能预判特征改动是否值得上线
核心概要
推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。
深度剖析
推荐模型在加入新特征后，性能随训练规模变化的曲线仍落在同一族缩放律里，只是拟合系数不同，这一性质被称为特征不变缩放。 此前缩放律多被用来描述模型或数据规模与性能的关系，而判断一个新特征是否有效，通常要把它加进基线模型、用全量数据从头重训再比较。 在Wukong上分别加入dropout层、改用SGD优化器、加入注意力层三种改动，各自的缩放曲线都能用幂律拟合，拟合优度分别为0.9953、0.9923和0.9876，基线为0.9949。
做法是在若干较小训练规模上训练带新特征的实验模型，记录验证损失，再外推它在全量规模下的表现。 单次小规模实验的信号不可靠：在基于LLM的推荐模型上加入电影类型信息，小规模时HR@10低于基线，全量规模时却明显提升。 在Wukong、HSTU和基于LLM的推荐模型三类模型、40余项架构、优化与数据改动上，方法给出的全量预测带有置信区间，并按“全量损失比基线低1%以上的后验概率超过90%”判定特征有效。
这套判定能在不做全量训练的情况下筛掉中性或退化的特征改动，并找出若干提升HSTU在MovieLens-20M上当前最优表现的特征。 全量A/B实验要对每个候选特征重训整个模型，工业场景中候选特征可达数百个，逐个全量验证在算力上难以承受。 在HSTU上，Time Gap Bias把HR@10从基线的0.3567提到0.3603，Dropout 0.1提到0.3590，Pop Debias提到0.3585；小规模实验的累计资源约为一次全量训练的一小部分。
启示与展望
演示范围是三类推荐模型（Wukong、HSTU、基于Llama-3.1与Qwen的LLM推荐模型）上的40余项架构、优化与数据改动，判定阈值设为全量损失比基线低1%以上且后验概率超过90%；作者提出，若缩放律不是幂律，可改用MCMC等贝叶斯采样近似后验。
作者报告了一个反例：在Qwen-0.5B上加入电影类型信息后，缩放曲线不再符合幂律拟合，且性能明显退化；他们推测原因是该特征使上下文长度增加约30%，小模型容量不足以吸收这些信息，并承认这类情形会妨碍方法应用，但认为不常出现。