Liquid AI 把六种模态压进 2B 参数:文本模型 4 比特约 1 GB,单卡即可微调
核心概要
Liquid AI 发布 LFM3 系列,把文本、视觉、音频、全模态和决策模型统一到同一个 2B 级骨干上,全部开放权重并可在单张 GPU 上微调。相比上一代 LFM2 家族,LFM3-1.7B 以少 35% 的参数超过 LFM2.5-2.6B,在 WebArena-Verified 上得 38.42,而后者为 3.02。文本模型 4 比特精度下约 1 GB,支持 256K 上下文,面向端侧智能体部署。
深度剖析
Liquid AI 把文本、视觉、音频、全模态和决策五类能力收进同一套 2B 级模型家族,每个模型都从 LFM3-1.7B-Base 分支出来,用户按输入类型选一个模型,用自己的数据微调后部署到应用所在的位置。 此前 LFM2 家族以短卷积与注意力混合的架构在端侧快速运行,但各模态模型与骨干的对应关系不像现在这样统一到一个基座。 LFM3-1.7B 在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者,在 WebArena-Verified 上得 38.42,后者为 3.02,差距集中在智能体任务上。
骨干的重设计围绕智能体场景展开:需要更高的每参数能力,也需要在长上下文上快速推理。 LFM2 已经证明短卷积与注意力的混合能在端侧快速运行而不牺牲质量,LFM3 在这一基础上重新设计层结构。 LFM3-1.7B-Base 共 24 层,由 13 层门控短卷积、5 层窗口为 256 个 token 的滑动窗口注意力和 6 层全局注意力组成,卷积核大小从 LFM2 的 3 提高到 7。
架构由硬件在环搜索确定,搜索范围覆盖 14 种设备与后端组合,从手机、Raspberry Pi 5 到笔记本、云 CPU、GPU 和高通 Hexagon NPU。 此前的架构搜索没有覆盖这样宽的设备与后端组合。 按参数计,LFM3-1.7B 在短提示上与 LFM2-1.2B 在各类边缘设备上持平,上下文达到 8K token 时约快 25%。
视觉与音频两条支线各自配了新的自研编码器,语音输出由新的音频分词器 LiquidCodec 完成。 此前的 LFM 视觉模型使用 SigLIP2 编码器,音频侧也没有这套自研编码器与编解码组合。 164M 参数的视觉编码器在相同 LFM2.5-230M 语言骨干下与 Qwen3.5-2B 的视觉编码器精度相当,所需 FLOPs 少 2.2 倍;LiquidCodec 在 Apple M4 Max 单 CPU 线程上约以 87 倍实时速度把生成 token 转成语音。
启示与展望
这套结果针对 2B 级开放权重模型在端侧与单卡微调场景,发布方给出的对照包括 LFM2.5-2.6B、LFM2.5-VL-3B、LFM2.5-Audio-1.5B 与 d1-3B,以及 Qwen3.5-2B 的视觉编码器和 Qwen2.5-Omni-7B 等外部模型。
发布方称 d1-omni-2B 在改用语音提问而非文字提问时保留了几乎全部精度,但没有给出具体数值;LFM3-1.7B 与 LFM2-1.2B 的 25% 速度优势限定在 8K token 上下文条件下。
