# A/B实验

推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。

推荐系统每改一个特征都要全量重训做A/B实验，代价高，而单次小规模实验又常给出误导信号。研究显示，Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律，只是系数不同。据此，用若干小规模实验做统计推断，可在只占全量训练一小部分算力的条件下，以置信区间预测特征在全量规模下是提升、中性还是退化。