不用GPU也能预演大模型服务：BLIS在CPU上跑完整流水线，4卡就守住300毫秒首字延迟

大模型推理部署的规划不再必须占用GPU集群。BLIS把一次服务部署的延迟和吞吐预测放到CPU上完成，让配置搜索和政策迭代可以在本地反复进行。 此前确认路由、准入、批处理与KV缓存复用之间的耦合取舍，要在GPU集群上实测：一次工作负载评估（Llama-2-70B在NVIDIA H100节点上以每秒10个请求服务1万个请求）约需18分钟持续GPU时间，加上部署、下载和预热；有意义的探索要在数百个配置、政策和负载上重复。 在覆盖六个模型、三种GPU类型和四类负载的36组实验中，BLIS的端到端延迟中位误差为6.7%，运行速度约为真实执行的200倍；其中H100上中位误差5.5%，未参与系数拟合的A100和L40S上分别为15.7%和13.3%。

BLIS把整条服务流水线当作相互耦合的部件来推进，而不是分别估算各阶段。请求从准入、路由、排队、组批、预填充与解码执行，到KV缓存分配和抢占，都在同一条事件时间线上演化。 已有的预测工具各自只覆盖流水线的一部分：闭式估计器忽略连续批处理、KV缓存压力和排队，在负载下误差20–90%；基于算子剖析的模拟器更忠实，但每个新的模型、GPU或张量并行度都要重新校准。 延迟模型把roofline式基函数与一次性拟合的缩放系数和开销项结合，系数在15组H100真实系统实验上联合拟合，覆盖六个模型家族、稠密与混合专家架构以及1、2、4的张量并行度；评估用的六个模型与训练集不相交。模拟器按事件推进，相同种子产生逐字节一致的输出。

这套模拟器面向需要在提交GPU容量前比较服务配置和政策的研究人员与工程师，适用场景是配置搜索和政策演化：在CPU上扫描数百个候选，再把少量候选放到集群验证。延迟模型的训练和精度验证是单实例的，每个实验测量一个最多8卡张量并行的vLLM实例；配置搜索和两个政策案例则运行在多实例的llm-d部署上，最多8张H100跨多个副本，准入政策在4卡H100上验证，流控政策在2卡H100上验证。案例验证测量的是政策相对改进，而不是绝对延迟。

多节点规模下的绝对预测误差尚未测量，跨节点互连和放置效应可能改变结果。通信被简化为基于带宽的解析项：拓扑不可见，每次传输假定看到全部带宽，因此高张量并行度下会低估NVLink争用，共享跨节点链路时偏差可能更大，也不包含延迟抖动。当前未建模专家并行、多适配器（LoRA）服务、预填充/解码分离及跨池KV缓存传输、推测解码和KV缓存压缩。评估覆盖NVIDIA GPU上的稠密与混合专家Transformer，状态空间模型、RWKV和多头潜在注意力等以循环状态或不同缓存结构替代KV缓存的架构可能削弱泛化；非NVIDIA加速器未测试。模拟器镜像特定vLLM版本的调度语义和llm-d的分布式推理逻辑，需随实现演进而更新。延迟模型针对有负载但未深度饱和的区域校准，重度过载下确定性模拟器无法精确预测排队效应。