跳到主要内容
返回时间线
arXiv来源发表:

路由不再只看答案好不好:安全查询单独打分,同一批模型与预算下把安全差距补回近33点

核心概要

SCRouter把大模型路由的质量拆成普通查询的效用与安全敏感查询的安全两项,按查询分别加权,在自建基准上把随机选择到逐查询最优之间的差距补回60.9%,比此前最好的R2-Router高12.9个百分点。

AI-generated editorial illustration: Rethinking Quality in Large Language Model Routing: Security-Conditioned Model-and-Budget Selection

深度剖析

大模型路由的质量标准不再是一把尺子,而是按查询分成效用与安全两项,并允许两者选择不同的模型和输出预算。 此前的路由器用单一质量指标给模型与预算动作排序,R2-Router虽然把动作空间扩展到模型与预算对,仍只用一个质量分。 在SCRouterBench上,SCRouter-L把随机选择到逐查询最优之间的差距补回60.9%,R2-Router为48.0%,相差12.9个百分点;安全子集上两者相差32.9个百分点。

路由先判断查询是否安全敏感,再为每个模型与预算对分别预测效用和安全,最后按查询权重与成本做取舍。 做法是用一个冻结文本编码器加逻辑回归探针给出安全权重,用一个共享预算模型估计响应在预算内完成的概率与预期输出长度,两个质量预测器借助该完成概率分别估计完成与截断两种情形下的效用和安全。 基准含38,869条查询,覆盖效用任务与九个安全维度,每条查询在12个模型与12个预算的全部144种组合下作答,另有2,753条域外查询;探针在域内把99.6%的安全查询判对,在未见来源上为74.2%。

安全查询的收益主要来自预算维度,而不只是更大的动作空间。 只选模型的基线无法把预算降到默认值以下,而安全回答常常是简短拒答,安全表现在约120个token处达到峰值。 CARROT-KNN只在12个模型中选择,安全得分为38.8,接近使用全部144个动作的R2-Router的39.1;SCRouter使用同样的144个动作,安全得分达到72.0。

启示与展望

评估限于单轮文本查询和12个开源权重模型组成的候选池,成本按实际token消耗与所有路由器共用的固定单价表计算。安全查询与相应模型响应包含有毒、偏见和有害内容,仅用于路由评估并只面向研究用途发布。逐模型的安全结果可能暴露哪些配置最易被攻击。SCRouter是成本感知的路由层,不是安全保证。多轮与多模态负载留待后续评估。

域外表现低于域内,SCRouter-L整体从60.9降到48.1,主要因为安全子集从72.0降到47.3;探针在未见来源上只判对74.2%的安全查询,约四分之一被当作普通查询路由。成本比较使用固定单价表,未计入随时间变化的定价或随负载变化的服务成本。