跳到主要内容
检索

# 多头潜在注意力

2 篇关联报道

订阅更新
  1. Hugging Face - Blog

    Mistral把1T参数的多模态模型开放权重:网络安全测试复现并修补漏洞得82%

    Mistral在Hugging Face发布Mistral Large 4(Le Chonk),这是一个约1T总参数、49B激活参数、上下文窗口1M token的多模态混合专家模型,以开放权重形式提供FP8与NVFP4两个官方版本。它把大专家池与稀疏注意力、Pixtral视觉编码器组合起来,语言模型为每个token只选少数专家,注意力索引器只选部分历史位置。在要求复现并修补开源软件真实漏洞的Artificial Analysis Cyber Index测试上,该模型得82%,Mistral称这是该测试已报告的最高分。

  2. lightseekorg/tokenspeed

    推理引擎把控制面与执行面拆开:C++状态机管KV缓存,Python层留给研究者改

    TokenSpeed 发布了一个面向智能体负载的开源 LLM 推理引擎,它把控制面与执行面分开:控制面用 C++ 写成有限状态机,靠类型系统在编译期约束请求生命周期与 KV 缓存状态,执行面留在 Python 以便快速迭代。此前推理引擎通常把调度与执行耦合在一起,资源安全多在运行时检查。该引擎宣称达到 TensorRT-LLM 级性能与 vLLM 级易用性,并给出在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next 时每用户 685 tokens/s 的数值。

已读完全部报道