Hacker News来源发表:
AI网关不再把功能塞进内核：Respan用Rust重写，插件化接入各家模型
核心概要
Respan发布开源Rust AI网关，把提供商、协议、模态和可靠性功能全部做成插件，核心只负责分发事件。此前团队在LiteLLM外包了超过10万行代码，一次例行升级引发间歇性连接错误后只能回滚，至今未查明原因，于是改为自建网关。新网关中新增提供商只需一个短文件，Mistral的适配为22行，每个特殊行为单独测试。
深度剖析
新网关把提供商、协议、模态和网关功能都移出内核，内核只做事件分发，团队可以按需拼装自己应用所需的AI基础设施。 此前团队自2024年起在LiteLLM外层层封装，包装代码一度超过10万行，每个组织需要不同的API密钥设置、路由和限额。 今年1月一次例行LiteLLM升级造成间歇性连接错误，团队回滚后仍未查明原因，此后不再直接升级，改为手工回移上游修复。
请求先由适配器交给第一个能识别它的客户端格式，格式把请求暴露为带类型的输入输出事件双向流，核心按注册顺序运行插件。 插件可以选提供商、过滤或包装任一流、发起额外调用、返回响应或拒绝请求，随后由提供商格式打开上游连接。 客户端与提供商格式相同且没有插件改动载荷时，原始字节和协议专有字段原样通过；格式不同时经共享类型翻译消息、工具调用、结果、流和用量。
启示与展望
这则发布面向需要从单一端点调用多家模型、并希望自行扩展功能的工程团队。网关覆盖聊天、实时语音和MCP等协议，以及图像、视频等模态，并提供智能路由、回退和PII脱敏等示例插件。基于OpenAI Realtime API的应用可经网关使用Gemini Live，但并非所有功能都能对应转换。
团队表示尚未查明那次LiteLLM升级引发连接错误的原因。跨格式转换并非完全对等，部分功能无法在客户端与提供商之间翻译。发布信息未给出新网关的性能或稳定性测量。