草稿模型不再通用：Fireworks按客户数据定制投机解码，专用场景延迟最多降3倍
核心概要
Fireworks为FireOptimizer推出自适应投机执行，用客户自己的推理负载数据训练草稿模型，替代在通用对话数据上训练的草稿模型。投机解码让较小的草稿模型并行预测若干token，再由主模型批量校验，命中率决定收益；通用草稿模型在专门场景命中率低，反而拖慢推理。在一个专门用例上，通用草稿模型命中率29%、延迟增加1.5倍，改用FireOptimizer后命中率76%、速度提升2倍，相对通用草稿模型最多3倍加速。
深度剖析
Fireworks在FireOptimizer中上线自适应投机执行，把投机解码的草稿模型从通用数据训练改为按客户具体工作负载定制。 此前的投机解码通常使用在公开对话数据等通用数据上训练的草稿模型，在专门场景下命中率明显下降。 在一个专门用例上，通用草稿模型的token分布与目标用例差异过大，命中率仅29%，投机解码反而使延迟增加1.5倍。
定制草稿模型提高草稿预测被主模型接受的命中率，从而把投机解码从负收益转为正收益。 投机解码的加速依赖草稿模型的命中率，命中率越高，主模型能采纳的正确预测越多。 同一用例改用FireOptimizer后命中率达到76%，速度提升2倍；Fireworks称自适应投机执行相对通用草稿模型最多可实现3倍加速。
草稿模型的训练与评估由平台自动完成，用户只需提供能代表自身用例的数据。 用户不必自行评估命中率或管理超参数，也无需手工训练和评测草稿模型。 数据可来自自动记录的生产追踪数据，也可提供样本数据集，后者便于先做匿名化处理。
启示与展望
已展示的范围是企业预留部署用户，且该功能目前不额外收费；按需部署上的开放仍在探索中。文中给出的对照是一个专门用例的命中率与延迟，以及Cursor报告的约2倍生成延迟下降。
Fireworks说明，与任何调优模型一样，生产数据分布随时间漂移会使模型精度下降并需要重新对齐。3倍加速被表述为相对通用草稿模型的上限，而非每个用例的保证。