IBM把聊天、决策与语音塞进一个端点：三个适配器共用一份KV缓存，显存几乎不涨
核心概要
IBM发布Granite Switch 4.1，把通用决策、安全决策和语音转写三类能力组合进同一个托管端点，8B与30B两个版本在GPU上占用的显存与单独的基础模型大致相当。此前的Granite Switch项目已支持把专用适配器组合进定制模型，而这次随版本一同给出的Decision适配器、Guardian安全适配器和Granite-Speech-5.0-Turbo-CTC转写模型被预先编译进模型。由于适配器以缓存高效的Activated LoRA形式构建，基础模型生成产生的KV缓存可被后续适配器决策复用，因此聊天、决策与语音请求之间的切换不必重建缓存。
深度剖析
一个托管端点现在同时承担自然语言对话、通用与专用决策以及语音转写三类请求，用户不必为每类任务分别部署模型。 此前的Granite Switch项目提供的是模块化开发路径，用户需要自行从Granite Libraries中挑选并组合专用适配器来搭建定制模型。 8B与30B两个版本被预先编译进Decision适配器、Guardian适配器和Granite-Speech-5.0-Turbo-CTC，三者与基础模型组合后占用的GPU显存与基础模型单独运行大致相同。
安全相关决策上，专用适配器的平均表现超过若干通用决策模型。 Jev等封闭决策模型侧重通用性，而专用分类任务上专用适配器可以做得更好。 Guardian适配器在安全相关决策任务上的平均值高于Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions和Clef-Flash。
适配器之间共享基础模型的KV缓存，使追加专用适配器的成本接近于零。 若每类任务各自维护独立模型，能力增加通常意味着更多GPU。 Switch适配器以缓存高效的Activated LoRA构建，基础模型生成产生的KV缓存可复用于后续基于适配器的决策，配合vLLM低秩适配器推理加速与共置的ASR编码器。
启示与展望
已展示的范围是8B与30B两个预编译版本在单一托管端点上的组合运行，以及一个把granite-switch-4.1-8b用于转写、摘要、有害内容筛查和15项自定义标记的Speech-to-Decisions演示空间。官方表示未来数周会发布更多Granite Switch的细节与数据，并计划推出用于在Mellea中训练适配器的Adapter SDK及配套教程。
官方称更多细节与数据将在未来数周发布，因此当前可核对的评测信息有限。Guardian适配器相对通用决策模型的优势以平均表现表述，未给出逐任务分布。3B参数Granite Switch模型每秒60至100次决策与Jev报告的每秒10次决策之间的比较，其来源标注为Jev的发布博客。