Reflection开源首个权重模型Beam:501B总参数只激活23B,用更少token跑完编码与智能体任务
核心概要
Reflection发布其首个开放权重模型Beam,并同步上线Baseten平台。Beam是自回归Transformer,采用混合专家架构,总参数501B、每token激活23B,上下文窗口最高100万token,面向编码与智能体工作负载。训练以强化学习为主,通过更长的多步rollout让模型练习使用工具并根据反馈调整,同时施加长度惩罚抑制多余token,目标是降低这类任务的成本。
深度剖析
Reflection推出了公司首个开放权重模型Beam,并让它在Baseten平台上获得上线首日支持,开发者可通过Baseten的模型API和专用推理两种方式调用。 此前Reflection没有开放权重模型可供外部使用,Beam是该模型家族的第一个成员,多语言与多模态能力被列为后续版本的计划。 该模型现已通过Baseten Model APIs与Dedicated Inference提供,官方说明其开箱即用,兼容开发者已有的运行时、框架、编码工具链与工具。
Beam被训练成用更少的token完成编码与智能体任务,从而压低这类工作负载的开销。 常规做法是让模型把任务解出来即可,Beam把到达成功结果所消耗的token数也纳入优化目标。 Reflection的评测覆盖编码、智能体、推理与STEM基准,官方称其表现强劲;训练中奖励成功解,并对不必要的token施加长度惩罚。
Beam的推理量可以由使用者调节,低设置偏向更短的回答,高设置允许更多推理以提升高难度任务上的表现。 这使同一模型能在省token与高难度表现之间按需取舍,而不是固定一种推理长度。 该调节通过推理努力参数完成,官方将其描述为面向编码与智能体系统的开发者、研究人员以及希望自行定制和运行模型的企业。
启示与展望
该模型面向构建编码与智能体系统的开发者、研究人员,以及希望自行定制和运行模型的企业,可通过Baseten的模型API与专用推理使用,并兼容已有的运行时、框架、编码工具链与工具。官方表示多语言与多模态能力属于后续版本的计划。
性能描述来自Reflection自身的评测,材料未列出具体基准名称、数值或对照模型;长度惩罚与推理努力参数对最终token节省量的实际影响,材料也未给出量化结果。
