Apertus 1.5把图像和音频塞进文本词表：架构不动，8B与70B权重以Apache 2.0开放
核心概要
瑞士Apertus项目发布1.5版8B与70B模型，在1.0基础上继续预训练，新增图像与音频理解、可选思考模式，并把上下文窗口扩到262,144个token。多模态走早期融合路线：图像和音频被切成离散token，与文本token排进同一序列，不另设视觉编码器，因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本，语音处理仍属实验性；项目自述整体仍落后于前沿开放权重模型。
深度剖析
Apertus 1.5让8B和70B两个文本模型直接读入图像与音频，并可按需切换到先推理再作答的思考模式。 Apertus 1.0只处理文本，上下文窗口也短得多；1.5把窗口扩到262,144个token，是1.0的四倍。 项目自述在指令遵循和多语言任务上，8B版本优于同规模开放权重模型；多模态表现接近Gemma 4 12B等当前开放权重模型，在开放权重模型的空间理解与开源模型的文档图表理解上具有竞争力。
多模态不是靠外挂视觉编码器实现，而是把图像和音频变成与文字同一种离散token。 常见做法是单独训练一个视觉编码器再接进语言模型；这里只扩充词表，模型架构保持不变。 图像用Emu3.5分词器切成token，一张512×512图像为1,024个token；音频用WavTokenizer，每秒40个token；训练因此仍按纯文本速度运行。
继续预训练分四段推进，从无配对数据到配对数据、再到高质量冷却和逐步拉长的长上下文。 起点是Apertus 1.0的权重，8B模型新增4万亿token、70B模型新增2万亿token，总量分别达到19万亿和17万亿。 超过一半的训练token仍是纯文本，用以保住1.0的语言能力；新数据沿用公开可得、许可宽松、追溯尊重robots.txt退出的同一标准，来源列在数据透明度清单中。
启示与展望
这则报道依据Apertus 1.5的发布说明，覆盖8B与70B两个规模、四阶段继续预训练与五阶段后训练，以及文本、多模态和思考模式的评测范围。适合关注开放权重模型训练流程与多模态接入方式的研究人员和工程师阅读。项目在发布说明中给出的下一步是Apertus 2.0路线图：稀疏/MoE架构、约6000亿总参数、更长训练计划，并以智能体、数学和编程为优先方向。
发布说明自述新版本仍落后于前沿开放权重模型，语音处理仍属实验性，模型只生成文本。多模态与思考模式的评测由项目自行组织，并借助EvalEval的评测卡格式公开运行配置；与Gemma 4 12B等模型的比较属于项目陈述，具体分数需回到评测记录核对。