英伟达把30B推理模型免费放上AI Gateway：3B激活、1M上下文，长跑智能体可直接调用
核心概要
英伟达的Nemotron 3.5 Lightning以nvidia/nemotron-3.5-lightning-free为名在AI Gateway上免费提供，30B参数每token只激活3B，面向长时运行的智能体与RAG系统。
深度剖析
英伟达把Nemotron 3.5 Lightning放上AI Gateway，并以nvidia/nemotron-3.5-lightning-free这一模型名免费提供，由英伟达自己服务。 此前该模型并不在AI Gateway的可用模型之列，调用方需要另找入口。 AI Gateway以统一API调用模型，并跟踪用量与成本、配置重试与故障转移；该模型现列于其语言模型清单中。
这是一个开放权重的推理与聊天模型，面向长时运行的智能体、子智能体任务、聊天机器人和RAG系统。 它采用混合专家设计，把Mamba-2层与MoE层交错，并夹入少量注意力层，而不是全部使用注意力层。 模型规模为30B参数、每token激活3B，上下文窗口为1M token，并支持工具调用与结构化输出。
调用方式覆盖AI SDK、Chat Completions、Responses和Messages接口，也可通过接入AI Gateway的编码智能体使用。 在Claude Code、Codex、Cursor等编码智能体中，需要先安装最新Vercel CLI并运行npx vercel ai-gateway setup，再在智能体里选择该模型名。 AI Gateway按供应商定价不加价，也不对推理收取平台费，BYOK请求同样如此。
启示与展望
报道覆盖的是该模型在AI Gateway上的免费可用性、模型规格与调用方式，面向需要长上下文推理的智能体与RAG开发者。来源明确说明供应商可能保留提示用于模型改进，使用前应据此判断数据是否适合提交。
来源说明供应商可能保留提示用于模型改进，这是使用该免费端点时需要留意的条件；除此之外，来源未给出更多关于该模型能力边界的说明。