推荐系统A/B实验不必每次全量重训:小规模实验拟合缩放律,就能预判特征改动是否值得上线
推荐系统每改一个特征都要全量重训做A/B实验,代价高,而单次小规模实验又常给出误导信号。研究显示,Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律,只是系数不同。据此,用若干小规模实验做统计推断,可在只占全量训练一小部分算力的条件下,以置信区间预测特征在全量规模下是提升、中性还是退化。
推荐系统每改一个特征都要全量重训做A/B实验,代价高,而单次小规模实验又常给出误导信号。研究显示,Wukong、HSTU和基于LLM的推荐模型在加入不同特征后仍遵循同一函数形式的缩放律,只是系数不同。据此,用若干小规模实验做统计推断,可在只占全量训练一小部分算力的条件下,以置信区间预测特征在全量规模下是提升、中性还是退化。
回归模型在高风险决策中需要同时给出点估计、风险区间和弃权选项,而此前区间方法与选择性预测各自只提供其中一部分。SelPI把区间头、取值头和两个弃权门放在同一个损失下联合训练,并用Fréchet惩罚把两个门的预算与联合接受率绑定。在18个表格基准上,区间宽度能较好预测大的点误差,却与区间未命中呈负相关,因此按宽度弃权会丢掉区间本来正确的输入;固定基础预测器后,学到的门在全部18个表格数据集上按区间评分优于宽度阈值,并随任务异方差性增强而扩大优势。
已读完全部报道