Dipanwita Guhathakurta

BLIS是一个纯CPU的确定性离散事件模拟器，把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟，在36组实验上端到端延迟中位误差6.7%，比真实执行快约200倍。

BLIS是一个纯CPU的确定性离散事件模拟器，把准入、路由、调度、预填充/解码执行、KV缓存管理和抢占整条大模型推理服务流水线一起模拟，在36组实验上端到端延迟中位误差6.7%，比真实执行快约200倍。