Fireworks在其FireOptimizer调优栈中新增3D FireOptimizer，用来自动搜索模型架构、量化、推测解码、硬件与并行策略等配置组合。LLM服务需要在速度、吞吐成本与质量之间权衡，而各旋钮相互影响，可选组合超过十万种。该工具结合生产负载的性能扫描、启发式规则与预计算画像裁剪搜索空间，输入工作负载特征与SLA后给出少数几个候选配置；在整库智能体代码补全、代码改写和聊天机器人三个案例中，它给出的端点在与公开平台基线相同的质量下取得更好的QPS与延迟权衡。
Fireworks 把量化感知微调接入 FireOptimizer，让 DeepSeek R1 与 V3 这类原生按 FP8 服务的开源模型可以按具体用例定制。此前用 LoRA 微调后合并权重再以 FP8 部署会明显掉精度，而 6710 亿参数的基座在 FP8 下已占 671 GB 显存，超过 H100 主机常见的 640 GB。做法是在前向传播中对合并权重和激活做“伪量化”，让 LoRA 梯度保持 bfloat16、合并权重按 FP8 数值走；在 1.5 万条训练、5000 条评估的法国葡萄酒评论分类任务上，QAT 微调优于朴素 FP8 LoRA 微调。
Fireworks为FireOptimizer推出自适应投机执行，用客户自己的推理负载数据训练草稿模型，替代在通用对话数据上训练的草稿模型。投机解码让较小的草稿模型并行预测若干token，再由主模型批量校验，命中率决定收益；通用草稿模型在专门场景命中率低，反而拖慢推理。在一个专门用例上，通用草稿模型命中率29%、延迟增加1.5倍，改用FireOptimizer后命中率76%、速度提升2倍，相对通用草稿模型最多3倍加速。
已读完全部报道