Vercel News来源发表:
AI Gateway 给决策请求加上置信度回退：主模型答案低于阈值时，自动转交备用模型
核心概要
AI Gateway 现在可以在主模型答案触发用户设定的置信度条件时，把决策请求升级给备用模型。条件可以组合，因此一次升级能同时依赖多个信号；原有的按模型名回退继续拦截明显错误，行为不变。置信度条件覆盖 Choice 与 Score 两类问题，Boolean 问题则按概率区间升级；触发回退会运行第二次决策，两段都计费。
深度剖析
AI Gateway 的决策请求多了一条升级路径：主模型给出的答案若落在用户设定的置信度条件内，请求会转交给备用模型重新决策。 此前回退只按模型名触发，用来拦截明显出错的答案；现在回退还能由答案本身的置信度触发。 置信度条件覆盖 Choice 和 Score 两类问题，Boolean 问题改用概率区间升级；不带条件对象的请求保持原有行为。
启用方式是在 providerOptions.gateway.models 里加一个条件对象，写明哪个模型在什么条件下接手。 条件对象用 when 描述触发条件，例如指定某个问题在置信度低于 0.6 时升级；省略 question 字段时，条件会检查所有同类型问题。 示例中意图问题被设为 Choice 类型，条件写成 confidenceBelow 0.6，触发后由备用模型给出该问题的选项答案。
启示与展望
已展示的范围是 AI Gateway 决策请求的回退配置：置信度条件适用于 Choice 与 Score 问题，Boolean 问题按概率区间升级，条件可组合，不带条件对象的请求行为不变。
触发回退会运行第二次决策，因此两段都计费；材料没有给出置信度阈值如何选取的指导，示例中的 0.6 只是配置写法。