跳到主要内容
返回时间线
Hugging Face - Blog来源发表:

24B推理模型每token只激活2B:单张B300高并发输出超21K token每秒,工具调用基准五项领先或持平

核心概要

Liquid AI发布LFM2.5-24B-A2B,一个总参数24B、每token仅激活2B的推理型智能体模型,面向设备端本地运行。它沿用前代LFM2-24B-A2B的架构,但上下文从32K扩到131K、词表从65K扩到128K,并改为先输出思维链再作答。在16项基准上它与总参数和激活参数都多约50%的Qwen3.6-35B-A3B竞争:LiveClaw得48.09对38.19,AutomationBench为27.69对8.72,同时在M5 Max上解码184 token/s。

Source-provided article image: Run fast, private agents on-device with LFM2.5-24B-A2B
Hugging Face

深度剖析

设备端智能体不必再依赖云端大模型,一个总参数24B、每token只激活2B的推理模型可以在本地连续运行并调用工具。 此前的同类MoE要么参数规模更大,要么不具备先推理再作答的能力;LFM2.5-24B-A2B是推理专用模型,会在给出最终答案前生成显式思维链。 在16项覆盖工具使用、智能体流程、知识、指令遵循、数学和编码的基准上,它与Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it和Nemotron-3.5-Lightning同台评测,是其中最小的模型。

模型沿用前代架构,靠扩大预训练与中期训练数据、再经五阶段后训练把基座变成智能体。 架构保持40层、每个MoE块64个专家、top-4路由,以及门控短卷积与GQA的混合结构;变化在于上下文窗口从32K增至131K,词表经原地分词器扩展从65K翻倍到128K。 预训练从约17T token扩到约33T token,中期训练加入32K上下文的2T token和131K上下文的300B token,工具调用与多轮轨迹贯穿两个阶段;后训练依次为监督微调、教师专精、非智能体多域在线策略蒸馏、智能体多域在线策略蒸馏和智能体强化学习。

在工具使用与指令遵循上它领先或追平更大模型,但知识密集与编码任务仍由更大模型占优。 它在八项工具使用与智能体基准中的五项领先或持平,包括AutomationBench、BFCLv4、ToolSandbox、LiveClaw和τ³-Bench Banking,并在三项指令遵循基准上全部领先;GPQA Diamond、HLE、AA-Omniscience以及SWE-Bench Verified和SciCode上更大模型保持优势。 AutomationBench上27.69的得分是次优模型8.72的三倍以上,LiveClaw为48.09对38.19;推理速度方面,M5 Max上184 token/s、Ryzen AI Max+ 395上114 token/s,比次优模型快至多1.7倍,单张B300在高并发下输出超过21K token/s。

启示与展望

报道覆盖的是LFM2.5-24B-A2B的发布内容:模型规格、训练流程、16项基准结果与推理速度,以及开放权重和首日推理生态支持。适用读者是需要在自有硬件上运行推理与工具调用智能体的工程师。材料建议知识密集负载搭配检索或网络搜索,并给出在本地OpenAI兼容后端上接入智能体框架的配置方式。

材料说明更大模型在GPQA Diamond、HLE、AA-Omniscience等知识密集基准以及SWE-Bench Verified和SciCode等编码基准上仍保持优势,因此建议为知识密集负载搭配检索或网络搜索。基准评测统一使用vLLM并采用各基准推荐的生成参数,速度数据来自M5 Max、Ryzen AI Max+ 395和单张B300的具体配置。