# 大模型推理服务优化

Fireworks在其FireOptimizer调优栈中新增3D FireOptimizer，用来自动搜索模型架构、量化、推测解码、硬件与并行策略等配置组合。LLM服务需要在速度、吞吐成本与质量之间权衡，而各旋钮相互影响，可选组合超过十万种。该工具结合生产负载的性能扫描、启发式规则与预计算画像裁剪搜索空间，输入工作负载特征与SLA后给出少数几个候选配置；在整库智能体代码补全、代码改写和聊天机器人三个案例中，它给出的端点在与公开平台基线相同的质量下取得更好的QPS与延迟权衡。

Fireworks在其FireOptimizer调优栈中新增3D FireOptimizer，用来自动搜索模型架构、量化、推测解码、硬件与并行策略等配置组合。LLM服务需要在速度、吞吐成本与质量之间权衡，而各旋钮相互影响，可选组合超过十万种。该工具结合生产负载的性能扫描、启发式规则与预计算画像裁剪搜索空间，输入工作负载特征与SLA后给出少数几个候选配置；在整库智能体代码补全、代码改写和聊天机器人三个案例中，它给出的端点在与公开平台基线相同的质量下取得更好的QPS与延迟权衡。