动态商品广告检索有了离线裁判：不靠点击日志，也能在A/B测试前排好六路召回
核心概要
动态商品广告的检索质量此前只能靠稀疏且有偏的点击日志或昂贵的线上实验来比较。新方法把用户互动历史压缩成少量按语义ID分组、按事件类型分层的意图代表，再由大语言模型逐条判断候选商品与每个意图的相关性并汇总成用户级分数。在30天生产流量上，该分数对六路检索源的排序与转化精确率、召回率一致，并在四组A/B测试中与线上CTR、CVR变化方向一致。
深度剖析
动态商品广告的检索阶段现在有了一个不依赖显式查询的离线评价分数，可以直接比较不同召回算法谁把更相关的商品推给了用户。 此前这类系统只能依赖未来互动召回率等离线指标，或点击、点赞等隐式互动日志，前者受选择偏差和数据稀疏限制，后者受展示位置和注意力吸引效应干扰。 在30天生产窗口内，该分数对六路检索源的排序与转化精确率、召回率高度一致，MicroRel与转化精确率的跨源皮尔逊相关最高，而同一批标签上算出的MAP@15和NDCG@15相关性更弱。
分数之所以能规模化计算，是因为长而杂的互动历史先被压成少量带权意图代表，再由一个经过微调的小模型充当裁判。 若把每个事件与每个候选逐一交给前沿大模型打分，生产量级下成本不可承受，因此需要先压缩意图集合、再把大模型判断蒸馏到小模型。 按语义ID分组并做事件类型分层的意图集在仅相当于完整序列约百分之几的成对调用成本下，与完整序列的意图集排序相关达到0.95，并在CVR、CR、CP三项线上指标上优于完整序列和其他变体。
裁判使用的评分准则不是手写的，而是由智能体循环从标注样例中迭代发现子规则，再经人工按业务优先级校正。 仅给一句五档标签指令的宽松提示会让前沿模型在人群属性不匹配、品牌与品类混淆等规则类上系统性误判。 在人工审核的1万条数据上，带准则的Gemini-2.5-Pro在精确率和召回率上均比不带准则的版本高约4个百分点，微调后的Gemini-2.5-Flash学生模型F1达到0.869，与教师持平。
启示与展望
报道覆盖的是动态商品广告检索阶段的离线评价，验证场景为30天生产流量、六路检索源和四组A/B测试，裁判精度对照建立在人工审核的1万条数据上。读者对象是负责召回评价与模型迭代的工程师和研究者。原文把该分数定位为上线前的离线闸门，未给出跨广告平台或其他商品目录的验证结果。
原文指出，基于互动召回的模型迭代同时混合了排序器对齐与互动信号，其离线与线上增量更小也更嘈杂，相关性因此偏弱。人群属性不匹配这类规则在标定集中过于稀少，智能体循环反复将其降权，最终由人工评审提升为硬性不相关覆盖。阈值扫描显示三项相关性在0.5附近达到峰值，超过该值后转化精确率与召回率的相关性随候选通过率下降而衰减。