实时推理不再让位给梯度提升树：Liquid 的 RIPL 把完整生成响应压到 50 毫秒以内
核心概要
Liquid AI 发布面向实时请求路径的低延迟推理引擎 RIPL，让 Liquid 基础模型在持续峰值流量下端到端返回完整生成响应的时间低于 50 毫秒。此前的服务设施面向通用模型、大批量和长时智能体工作流，每秒级延迟可接受；而搜索排序、推荐、欺诈判定等企业实时负载需要毫秒级答案，长期依赖梯度提升树或小型嵌入模型这类更快但精度较低的方法。RIPL 试图改变这一取舍，并已在 Shopify 的搜索增强等生产负载上运行。
深度剖析
实时企业负载现在可以直接把生成式模型放进请求路径，而不必退回梯度提升树或小型嵌入模型这类更快但精度较低的方法。 此前的服务设施是为通用模型、大批量和长时智能体工作流设计的，每个请求几秒钟可以接受，而企业实时负载的延迟预算要小得多。 在两个实时负载上，运行于 RIPL 的 LFM2.5-1.2B 相比运行于 vLLM 的 Qwen3.5-0.8B，p95 延迟低 14.4 至 28.4 倍；LFM2.5-2.6B 相比 Qwen3.5-2B 低 5.6 至 7.7 倍。
这套引擎在流量持续以峰值到达时仍能保持低延迟，返回的是完整的生成响应而非部分结果。 RIPL 是专为实时约束构建的推理引擎，与面向大批量和长时工作流的通用服务设施形成对照。 在 Shopify 的生产负载上，LFM 在搜索增强场景中实现低于 20 毫秒的推理，参数用量约少 50% 的同时推理快 2 至 10 倍，且未牺牲质量。
启示与展望
报道的范围是 Liquid AI 公布的 RIPL 引擎及其在实时企业负载上的表现：端到端完整生成响应低于 50 毫秒，并在峰值流量持续到达时保持。对比对象是运行于 vLLM 的 Qwen3.5 系列模型，生产案例来自 Shopify 的搜索增强等延迟敏感负载。RIPL 目前面向企业部署的 LFM，运行在 NVIDIA GPU 上，包括 H100、H200、B200 和 RTX PRO 6000。
延迟倍数来自两个实时负载的 p95 对比，具体负载构成与请求形状未在文中展开。Shopify 的低于 20 毫秒与参数少约 50% 的结论限定在搜索增强等生产负载上。RIPL 当前仅面向企业部署的 LFM 与所列 NVIDIA GPU。