决策模型不再生成文本:mammoth-1登顶208个模型,elephant-1领跑9B档
核心概要
Baseten 的研究实验室发布两个开源决策模型 mammoth-1(27B)与 elephant-1(9B),它们不生成文本,而是对每个问题返回所有可能答案上的概率分布。mammoth-1 在 Jev Decision Index 0.4 上位列 208 个决策模型第一,elephant-1 在该指数上与第 8 名并列、是领先的 9B 决策模型,并在 Artificial Analysis Decision Index 上与 d1-ultra 并列第一。两者由 Qwen3.5-9B 与 Qwen3.5-27B 在 621 万条决策样本上后训练得到,可在 Baseten Model APIs 免费试用一周,并已在 Hugging Face 开源。
深度剖析
决策模型成为一类独立模型:它不写回答,只对每个问题给出覆盖所有候选答案、总和为 1 的概率分布,可用于从列表选一项、按量表打分或回答是/否。 生成式大模型做分类任务时,其计算量远超任务所需输出,响应本身也不提供可靠的确定性度量。 mammoth-1 在 Jev Decision Index 0.4 上于 208 个决策模型中排名第一;elephant-1 在该指数上与第 8 名并列,是领先的 9B 决策模型,并在 Artificial Analysis Decision Index 上与先前最佳模型 d1-ultra 并列第一。
两个模型以 Qwen3.5-9B 和 Qwen3.5-27B 为基座做后训练,训练数据混合公开数据集与合成生成的决策样例,覆盖核心决策技能、安全与弃答、评判与专家领域。 数据配比经过与 elephant-1 的反复训练和评估迭代确定,最终配比再用于训练两个模型。 训练集共 621 万条决策样例,其中包含教模型在不确定时回答“我不知道”的样本;评估覆盖知识与推理、语言、工具与自动化、检索与分类、艺术与人类品味五个领域。
启示与展望
报道范围限于发布方公布的模型规格、训练数据规模与两个决策指数上的排名。适用读者是需要在生产环境中做分类、路由或安全判定的工程师;材料建议按准确率、置信度、速度与成本三项评估模型,并据置信度阈值决定自动接受还是转人工。材料未说明排名的评测细节与各分项得分。
材料称决策模型相对推理模型最多可提速 10 倍,但未给出测量条件与基线配置。两个指数上的排名以并列形式给出,材料未列出分项得分。材料称模型可经后训练使置信度更贴近实际正确率,但未报告校准后的具体偏差。
