Drex开源四个决策模型:一次前向传播为每个选项打分,典型请求183毫秒
核心概要
Drex把“做选择”从让大模型生成文本再解析答案,改成一次前向传播直接为给定选项打分。四个开源模型中最大的Drex Max在公开决策基准Decision Index 0.4.1上得67.52,对比Jev 1.14.0的60.70;加入私有测试后其分数下降不到1分。在Decision Bench v4上,Drex Max与d3-turbo、GPT-6 Sol统计上持平,比Claude Opus 5.5低1.6分,而典型请求耗时183毫秒。
深度剖析
决策任务不再需要大模型先写出推理文本再从中解析答案,而是把上下文、问题和候选选项一起输入,由一次前向传播为每个选项返回一个概率。 此前的常见做法是让大模型思考并解析其文本输出,速度慢、成本高,而且同一输入会得到不同答案。 在公开决策基准Decision Index 0.4.1上,Drex Max得67.52,对比Jev 1.14.0的60.70;加入私有测试后其分数下降不到1分。
Drex Max是一个27B多模态模型,采用双向注意力和对选项编码的线性读出,直接读原始图像而非图像的文字描述。 三个pointer模型只编码一次输入,再用小型pointer头为每个问题的选项打分;Drex Max则在此基础上扩展到多模态和更大规模。 在纯图像问题上,Drex Max依据图像的文字描述作答正确率为63%,直接读原始图像时为98%。
训练配方中的RLAF用经裁判概率调整的已验证答案作为奖励,同时不偏离监督模型。 相比只用监督训练,RLAF带来2个索引点的提升。 该增益是在报告给出的索引指标上测得的,报告同时列出与决策专用模型和前沿模型的完整评测。
启示与展望
报告覆盖四个开源模型的构建、训练配方、与决策专用及前沿模型的完整评测,以及生产服务方式;模型只能在给定选项集合内作答,无法回答集合之外的问题。
报告自述仍存在局限,其中排在首位的是闭卷知识;Drex Max在Decision Bench v4上比Claude Opus 5.5低1.6分,在Artificial Analysis Decision Index上得64分,处于三个领先决策模型两点以内。
