AI Gateway 给决策请求加上置信度回退:主模型答案低于阈值时,自动转交备用模型
AI Gateway 现在可以在主模型答案触发用户设定的置信度条件时,把决策请求升级给备用模型。条件可以组合,因此一次升级能同时依赖多个信号;原有的按模型名回退继续拦截明显错误,行为不变。置信度条件覆盖 Choice 与 Score 两类问题,Boolean 问题则按概率区间升级;触发回退会运行第二次决策,两段都计费。
AI Gateway 现在可以在主模型答案触发用户设定的置信度条件时,把决策请求升级给备用模型。条件可以组合,因此一次升级能同时依赖多个信号;原有的按模型名回退继续拦截明显错误,行为不变。置信度条件覆盖 Choice 与 Score 两类问题,Boolean 问题则按概率区间升级;触发回退会运行第二次决策,两段都计费。
已读完全部报道