不用GPU也能预演大模型服务：BLIS在CPU上跑完整流水线，4卡就守住300毫秒首字延迟
BLIS是一个纯CPU的确定性离散事件模拟器，把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟，在36组实验上端到端延迟中位误差6.7%，比真实执行快约200倍。
OpenAI 在 NVIDIA Blackwell 上推出 GPT-6 Astra Ultrafast，token 生成最高比 Astra Standard 快 8 倍
OpenAI 发布 GPT-6 Astra Ultrafast，该模式运行在 NVIDIA Blackwell GPU 上，通过利用 NVIDIA Blackwell 架构能力的推理优化，实现最高比 Astra Standard 模式快 8 倍的 token 生成，并已通过 OpenAI API 及面向符合条件的 ChatGPT Work 和 Codex 用户开放。
已读完全部报道