跳到主要内容
检索

# 端侧智能体

2 篇关联报道

订阅更新
  1. Liquid AI

    24B模型只激活2B参数:端侧智能体跑出184 tokens/s,工具调用反超更大MoE

    Liquid AI发布LFM2.5-24B-A2B,一个总参数24B、每token仅激活2B的推理模型,面向设备端快速私有智能体。相比前代LFM2-24B-A2B,它把上下文从32768扩展到131072 token、词表从65K扩到128K,预训练从17T扩到33T token,并改为先输出显式思维链再给答案。在八项工具使用与智能体基准中的五项上,它与总参数和激活参数都多约50%的Qwen3.6-35B-A3B持平或领先,AutomationBench得27.69对8.72;在Apple M5 Max上解码184 tokens/s,单张NVIDIA B300 GPU上高并发时输出超过21K tokens/s。

  2. Hugging Face - Blog

    24B推理模型每token只激活2B:单张B300高并发输出超21K token每秒,工具调用基准五项领先或持平

    Liquid AI发布LFM2.5-24B-A2B,一个总参数24B、每token仅激活2B的推理型智能体模型,面向设备端本地运行。它沿用前代LFM2-24B-A2B的架构,但上下文从32K扩到131K、词表从65K扩到128K,并改为先输出思维链再作答。在16项基准上它与总参数和激活参数都多约50%的Qwen3.6-35B-A3B竞争:LiveClaw得48.09对38.19,AutomationBench为27.69对8.72,同时在M5 Max上解码184 token/s。

已读完全部报道