Apertus 1.5把图像和音频塞进文本词表:架构不动,8B与70B权重以Apache 2.0开放
瑞士Apertus项目发布1.5版8B与70B模型,在1.0基础上继续预训练,新增图像与音频理解、可选思考模式,并把上下文窗口扩到262,144个token。多模态走早期融合路线:图像和音频被切成离散token,与文本token排进同一序列,不另设视觉编码器,因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本,语音处理仍属实验性;项目自述整体仍落后于前沿开放权重模型。
瑞士Apertus项目发布1.5版8B与70B模型,在1.0基础上继续预训练,新增图像与音频理解、可选思考模式,并把上下文窗口扩到262,144个token。多模态走早期融合路线:图像和音频被切成离散token,与文本token排进同一序列,不另设视觉编码器,因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本,语音处理仍属实验性;项目自述整体仍落后于前沿开放权重模型。
已读完全部报道