决策模型再添小尺寸：joey-1以20毫秒P50延迟返回单个token，成本为mammoth-1的十分之一
核心概要
Base Labs 发布 2B 参数的决策模型 joey-1，把分类、审批这类只需一个标签的调用从生成文本改为一次前向直接返回单个 token 和校准概率。此前这类请求要靠 LLM 生成文本，每次调用都叠加成本与延迟。在生产规模下，joey-1 处理平均 2000 token 请求的 P50 端到端延迟为 20 ms，约为 elephant-1（49 ms）的 2.5 倍快，每百万 token 价格 0.01 美元，为 mammoth-1 的十分之一。
深度剖析
决策类调用有了专门的模型形态：不再生成一段文字再从中读出答案，而是一次前向直接给出标签和该标签的置信分数。 此前 LLM 回答“工单该转给谁”“这条消息是否要标记”“这个请求是否批准”这类问题时靠生成文本，每次调用都增加成本与延迟，且这种开销在链式决策中逐级累积。 joey-1 在生产规模下处理平均 2000 token 请求的 P50 端到端延迟为 20 ms，约为 elephant-1 的 49 ms 的 2.5 倍快；每百万 token 0.01 美元的价格是 mammoth-1 的十分之一。
joey-1 由 Qwen3.5-2B 后训练而来，与 elephant-1、mammoth-1 使用同一份数据和同一套配方，三者共享同一 API，切换只需改一行。 决策模型家族由此覆盖三个尺寸，而不是三个彼此独立的选项：mammoth-1 面向最看重准确率的决策，elephant-1 是均衡默认，joey-1 面向高并发、对延迟敏感的调用。 在 Base Labs 的内部测试中，joey-1 是 3B 及以下参数中最强的决策模型，测试细节尚未公布；三个模型在发布时都接受文本和图像输入。
joey-1 已上线 Baseten Model APIs，权重在 Hugging Face 开放，默认零数据保留。 Model APIs 上支持 16k 上下文窗口并针对低延迟优化，专用部署则开放完整的 262k 上下文窗口并支持微调权重。 按每月 1000 万条、每条约 500 token 的支持工单分类计算，共 50 亿 token，joey-1 约每月 50 美元，mammoth-1 约每月 500 美元。
启示与展望
已展示的范围是 Base Labs 决策模型家族在 Baseten Model APIs 上的发布：joey-1 的 20 ms P50 端到端延迟与每百万 token 0.01 美元价格，对应生产规模下平均 2000 token 的请求，以及每月 1000 万条、每条约 500 token 的工单分类场景。
joey-1 是 3B 及以下参数中最强决策模型这一判断来自 Base Labs 的内部测试，测试细节尚未公布；发布说明同时表示研究与后训练团队会继续改进模型并扩展家族。