跳到主要内容
返回时间线
Artificial Analysis来源发表:

Reflection首款模型Beam登榜:美国开源权重第二,智能指数30分只花对手一半输出token

核心概要

Reflection发布首个模型Beam,一个总参数501B、激活23B的开源权重模型,在Artificial Analysis智能指数上得30分,位列美国开源权重模型第二,仅次于Meta的Muse Spark Open(39分),高于前一日发布的NVIDIA Nemotron 3.5 Super VL(26分)。它每个智能指数任务约用26k输出token,约为领先一分的K2 Horizon(31分)的一半,但专有模型仍居前沿,GPT-6 Astra(max)在同一预算下得53分。

Source-provided article image: Reflection’s first model, Beam, scores 30 on the Artificial Analysis Intelligence Index, placing it #2 among US open weights models
Artificial Analysis

深度剖析

美国开源权重模型榜单上出现了一个新的第二名,它来自此前没有发布过模型的Reflection。 此前该位置由本周陆续发布的模型占据,Meta的Muse Spark Open以39分居首,NVIDIA的Nemotron 3.5 Super VL以26分紧随。 Beam在Artificial Analysis智能指数上得30分,高于Nemotron 3.5 Super VL的26分,低于Muse Spark Open的39分;在中国以外的开源权重模型中,只有Muse Spark Open和来自阿联酋的K2 Horizon(31分)得分更高。

Beam把智能水平建立在更少的输出token上,用约一半的生成量换到与K2 Horizon相近的分数。 K2 Horizon比Beam高一分,但每个智能指数任务约用52k输出token,是Beam的两倍。 Beam每个智能指数任务约用26k输出token,其中约19k用于推理、约7k用于作答,最终答案只占输出的26%,在智能指数v4.3测试过的219个模型中属于第28低的比例。

能力分布并不均匀,自动化任务表现突出,终端任务明显偏弱。 在AutomationBench-AA上,Beam比K2 Horizon高11个百分点,与Qwen3.8 27B基本持平;在Terminal-Bench 4.0上则落后于这两个对手。 Beam在AutomationBench-AA得48.5%,K2 Horizon为37.2%,Qwen3.8 27B为48.2%;Terminal-Bench 4.0上Beam为3.0%,Qwen3.8 27B为5.6%,Muse Spark Open为8.1%。

知识问答的正确率提高,同时编造答案的比例也更高,净得分仍领先同类开源模型。 K2 Horizon和Qwen3.8 27B的答对率更低,但幻觉率也更低。 在AA-Omniscience上Beam答对33%,K2 Horizon为18%,Qwen3.8 27B为16%;Beam的幻觉率为47%,对手分别为26%和30%,净指数得分为1.5,对手为−3.0和−10.0。

启示与展望

这则报道面向关注模型评测与部署成本的研究人员和工程师,覆盖的是Artificial Analysis智能指数及其子项上的公开成绩。Beam为开源权重模型,总参数501B、激活23B,上下文窗口1M token,模态为文本。在Artificial Analysis Cyber Index上它完成34%的任务,是已测试的美国开源权重模型中最高的;在Reflection的开源命令行工具Mirror中运行,Beam在编码智能体指数上得28分。

Beam的幻觉率为47%,高于K2 Horizon的26%和Qwen3.8 27B的30%,其净指数得分1.5是在扣减之后仍领先。终端任务是其弱项,Terminal-Bench 4.0仅3.0%,AA-Briefcase为976 Elo。编码智能体指数上它落后下一套配置15分、落后领先者40分。专有模型仍设定前沿,GPT-6 Astra(max)在同一token预算下得53分。