Apertus 1.5把图像和音频塞进文本词表:架构不动,8B与70B权重以Apache 2.0开放
瑞士Apertus项目发布1.5版8B与70B模型,在1.0基础上继续预训练,新增图像与音频理解、可选思考模式,并把上下文窗口扩到262,144个token。多模态走早期融合路线:图像和音频被切成离散token,与文本token排进同一序列,不另设视觉编码器,因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本,语音处理仍属实验性;项目自述整体仍落后于前沿开放权重模型。
瑞士Apertus项目发布1.5版8B与70B模型,在1.0基础上继续预训练,新增图像与音频理解、可选思考模式,并把上下文窗口扩到262,144个token。多模态走早期融合路线:图像和音频被切成离散token,与文本token排进同一序列,不另设视觉编码器,因此模型架构不变、训练仍按纯文本速度运行。模型只理解图像和音频、输出仍是文本,语音处理仍属实验性;项目自述整体仍落后于前沿开放权重模型。
该工作提出 EAGER,一个面向生成式事件抽取的强化学习框架,将细粒度可验证奖励与 Schema-Contrastive Advantage Estimation 结合,以缓解稀疏二值奖励下的优势坍缩;其奖励设计显式覆盖结构有效性、抽取准确率、接地性、覆盖率、过度生成与跨度精确度,在七个基准数据集上持续优于提示、监督微调与既有强化学习基线,并相对最强先前方法取得显著提升。
已读完全部报道