AI网关不再把功能塞进内核:Respan用Rust重写,插件化接入各家模型
Respan发布开源Rust AI网关,把提供商、协议、模态和可靠性功能全部做成插件,核心只负责分发事件。此前团队在LiteLLM外包了超过10万行代码,一次例行升级引发间歇性连接错误后只能回滚,至今未查明原因,于是改为自建网关。新网关中新增提供商只需一个短文件,Mistral的适配为22行,每个特殊行为单独测试。
Respan发布开源Rust AI网关,把提供商、协议、模态和可靠性功能全部做成插件,核心只负责分发事件。此前团队在LiteLLM外包了超过10万行代码,一次例行升级引发间歇性连接错误后只能回滚,至今未查明原因,于是改为自建网关。新网关中新增提供商只需一个短文件,Mistral的适配为22行,每个特殊行为单独测试。
已读完全部报道