模型字符串不再写死在代码里:AI Gateway 上线虚拟模型,换模型几分钟内生效
核心概要
Vercel 在 AI Gateway 上推出虚拟模型:应用和智能体不再直接写具体模型名,而是调用一个按任务命名的虚拟模型 ID,模型、回退顺序、零数据保留等配置都放在网关侧。此前换模型虽只需改一行代码,但这一行仍在代码里,通常要重新部署;现在改动虚拟模型后,所有调用该 ID 的应用和智能体在几分钟内自动采用新配置。
深度剖析
应用和智能体调用模型的方式从写死具体模型名,改为调用一个按任务命名的虚拟模型 ID,模型选择和配置被移到 AI Gateway 一侧。 此前 AI Gateway 已让切换模型只需改一行代码,但这一行仍留在代码中,换模型通常意味着重新部署。 官方给出的例子是把编码任务的虚拟模型从 anthropic/claude-opus-5.5 改为 openai/gpt-6.1-sol,所有调用 vmc/coding-agent 的应用和智能体在几分钟内采用新配置,无需改代码或重新部署。
每个任务可以配一个专用的虚拟模型,回退、零数据保留和标签等设置随虚拟模型一起保留,切换模型时不必逐处重配。 过去这些设置分散在各次请求或各应用里,换模型就要重新处理一遍。 官方以支持工单分诊和法律合同审阅为例说明不同任务对成本与推理能力的需求不同,并指出提供商专属选项按提供商生效,把虚拟模型指向另一家提供商时该选项不再适用。
虚拟模型上的设置优先于请求中的同名设置,调用方无法覆盖平台设定的提供商顺序、回退或服务层级。 此前请求方可以自行指定回退模型或关闭零数据保留等选项。 官方说明即使请求显式把 zeroDataRetention 或 disallowPromptTraining 设为 false,虚拟模型要求的零数据保留或不训练配置仍会被执行;虚拟模型上的标签也会替换请求携带的标签,使花费归到任务上。
启示与展望
这套机制面向在 AI Gateway 上调用模型的应用和智能体,覆盖图像、视频、语音、嵌入和实时模型,并支持 AI SDK 以及兼容 OpenAI 和 Anthropic 的接口;官方建议在切换承载生产流量的虚拟模型前,先把第二个虚拟模型指向新模型并跑评测。
官方说明提供商专属选项按提供商生效,把虚拟模型切换到另一家提供商时该选项不再适用,需要重新检查;官方还建议切换生产流量前先用候选虚拟模型跑评测,若质量下降再把原虚拟模型指回此前的模型。
