Mistral把1T参数的多模态模型开放权重:网络安全测试复现并修补漏洞得82%
Mistral在Hugging Face发布Mistral Large 4(Le Chonk),这是一个约1T总参数、49B激活参数、上下文窗口1M token的多模态混合专家模型,以开放权重形式提供FP8与NVFP4两个官方版本。它把大专家池与稀疏注意力、Pixtral视觉编码器组合起来,语言模型为每个token只选少数专家,注意力索引器只选部分历史位置。在要求复现并修补开源软件真实漏洞的Artificial Analysis Cyber Index测试上,该模型得82%,Mistral称这是该测试已报告的最高分。