跳到主要内容
返回时间线
Fireworks AI来源发表:

Llama 3.2 上到 Fireworks:11B 与 90B 视觉模型按文本模型同价,图像按 6400 个文本 token 计

核心概要

Fireworks 宣布支持 Meta 的 Llama 3.2 系列,包括纯文本的 1B、3B 与多模态的 11B Vision、90B Vision,开发者可在其平台上做推理与微调。此前该平台没有这一代模型;现在 11B 与 90B 多模态模型定价与纯文本模型相同,图像按文本 token 计费,Llama 3.2 视觉模型的图像通常计为 6400 个文本 token。目前可微调的是 1B 与 3B 纯文本模型,多模态模型的微调尚未开放。

Source-provided article image: llama 3 2 vision fine tuning inference
Fireworks AI

深度剖析

开发者现在可以在 Fireworks 上调用 Meta 新一代 Llama 3.2 的四个模型,其中两个能读图,用于图像描述、视觉问答和文档视觉分析。 此前 Fireworks 平台上没有这一代模型,纯文本与多模态两类工作负载需要另找去处。 平台给出的对照是同一批模型在自家服务栈上的吞吐:Llama 3.2 1B 约 500 tokens/秒,Llama 3.2 3B 为 270 tokens/秒。

接入方式按使用强度分三档,从按 token 付费的无服务器调用,到按 GPU 秒计费的私有实例,再到带 SLA 的企业预留部署。 无服务器档只提供 instruct 版本,instruct 与非 instruct 版本都放在按需的私有 GPU 实例上。 Meta 用于检测违规内容的 Llama Guard 3 也以按需方式提供,与上述模型并列在同一部署选项里。

多模态模型的调用成本被压到与纯文本模型同一价位,图像不再单独计价,而是折算成文本 token。 此前图像输入通常作为独立计费项处理,这里改为按 token 折算。 折算比例取决于图像分辨率与模型,Llama 3.2 视觉模型的图像通常计为 6400 个文本 token。

启示与展望

报道范围限于 Fireworks 对 Llama 3.2 系列的托管支持、部署档位与计费规则,面向需要调用或微调这些模型的开发者;多模态模型的微调被表述为即将推出,尚未开放。

吞吐数字来自平台自身的服务栈描述,未给出与 vLLM 在私有 GPU 上对比的具体测试数值;图像折算的 token 数取决于分辨率与模型,6400 只是通常值。