Meta广告检索换上新架构：单台GH200服务器每秒评估超十亿条广告，转化率提升2.4%
核心概要
Meta发布下一代广告检索系统Andromeda，把模型、系统与GPU硬件放在一起设计。此前检索阶段无法承担排序阶段的深度模型开销，新架构引入受大语言模型启发的混合专家结构，使模型表现接近排序级，而推理算力约为2024版检索模型的1/300。合并后的单GPU流水线在单台服务器上每秒处理超过十亿条广告，Meta称这是检索阶段模型的新吞吐基准，并报告自2025年起Facebook转化率提升2.4%。
深度剖析
广告检索的第一阶段现在能在毫秒内筛出候选的同时，用接近排序阶段的模型精度给每一条合格广告打分，而不只是按粗粒度统计量粗筛。 此前排序阶段的深度建模质量在检索规模上代价过高，2024版Andromeda虽把模型容量扩大四个数量级，仍无法把排序级精度带到检索阶段。 Meta报告新架构在推理算力约为2024版检索模型1/300的条件下，模型表现接近典型“先检索后排序”系统中的排序级水平。
吞吐的提升来自把模型计算和系统逻辑放进同一个GPU内核，并把索引匹配、打分和top-K选择搬到同一台GPU服务器上。 过去每个用户与广告的计算要拆成多个小内核，中间张量在GPU高带宽内存中产生每秒数TB的读写流量，广告张量在本地CPU主机与远端加速器之间传输还会占满网络链路。 合并后的单GPU流水线在单台GPU服务器上每秒处理超过十亿条广告，网络流量约降至原来的1/100，系统重新回到受GPU计算限制的状态。
与NVIDIA的联合优化把检索流水线各组件推向当前硬件上限，其中门控网络和索引匹配分别获得数倍加速。 优化前门控内核为每秒24亿条广告，索引匹配与打分之间的数据搬运占用了端到端延迟的显著部分。 优化后的门控内核从每秒24亿条提升到超过100亿条，达到GPU峰值高带宽内存带宽的约85%；索引匹配提升两倍以上，超过每秒1000亿条；INT8量化在精度与16位精度相当的前提下再带来最高2倍吞吐提升。
启示与展望
报道的范围是Meta生产广告检索系统的吞吐与转化数据，以及其与NVIDIA在Hopper平台上对流水线各组件的联合优化；面向的是关注推荐系统与GPU系统协同设计的读者。Meta表示正在把优化工作扩展到Grace Blackwell平台，并评估CPU与GPU算力配比对端到端性能的影响。
Meta称流水线尚未到达硬件上限，端到端多倍于当前生产吞吐的基准结果还需随更多优化进入生产才能兑现；INT8量化的2倍吞吐提升表述为“最高”，且精度只报告为与16位精度相当。向Grace Blackwell的迁移仍处于评估阶段，CPU与GPU算力配比的影响尚无结论。