决策模型再添小尺寸:joey-1以20毫秒P50延迟返回单个token,成本为mammoth-1的十分之一
Base Labs 发布 2B 参数的决策模型 joey-1,把分类、审批这类只需一个标签的调用从生成文本改为一次前向直接返回单个 token 和校准概率。此前这类请求要靠 LLM 生成文本,每次调用都叠加成本与延迟。在生产规模下,joey-1 处理平均 2000 token 请求的 P50 端到端延迟为 20 ms,约为 elephant-1(49 ms)的 2.5 倍快,每百万 token 价格 0.01 美元,为 mammoth-1 的十分之一。