跳到主要内容
检索

# 自适应投机执行

1 篇关联报道

订阅更新
  1. Fireworks AI

    草稿模型不再通用:Fireworks按客户数据定制投机解码,专用场景延迟最多降3倍

    Fireworks为FireOptimizer推出自适应投机执行,用客户自己的推理负载数据训练草稿模型,替代在通用对话数据上训练的草稿模型。投机解码让较小的草稿模型并行预测若干token,再由主模型批量校验,命中率决定收益;通用草稿模型在专门场景命中率低,反而拖慢推理。在一个专门用例上,通用草稿模型命中率29%、延迟增加1.5倍,改用FireOptimizer后命中率76%、速度提升2倍,相对通用草稿模型最多3倍加速。

已读完全部报道