IBM把聊天、决策与语音塞进一个端点:三个适配器共用一份KV缓存,显存几乎不涨
IBM发布Granite Switch 4.1,把通用决策、安全决策和语音转写三类能力组合进同一个托管端点,8B与30B两个版本在GPU上占用的显存与单独的基础模型大致相当。此前的Granite Switch项目已支持把专用适配器组合进定制模型,而这次随版本一同给出的Decision适配器、Guardian安全适配器和Granite-Speech-5.0-Turbo-CTC转写模型被预先编译进模型。由于适配器以缓存高效的Activated LoRA形式构建,基础模型生成产生的KV缓存可被后续适配器决策复用,因此聊天、决策与语音请求之间的切换不必重建缓存。