PISA-E把集成路由变成逐提示决策:质量优先时宏平均任务表现高出最强对手2.09个百分点
核心概要
PISA-E把大模型集成的成员组合与成员数量都放到推理时按提示决定,并复用PISA对单个模型能力的估计来预测集成成功率,无需为不同模型组合单独训练。在四个路由基准上,质量优先时它的宏平均任务表现比最强集成对手高2.09个百分点(分布内)和2.87个百分点(分布外);在选定的低成本工作点上,它同时把平均推理成本降低约36%和25%。
深度剖析
多模型集成不再固定成员数量,而是对每个提示单独决定调用哪些模型、调用几个。 此前的集成方法要么只调整组合而把成员数量固定在训练或配置阶段,要么依赖面向分类的聚合或顺序执行,难以随提示和成本偏好改变调用规模。 在LLMRouterBench Track-2、RouterBench、FusionBench和SPROUT四个基准上,PISA-E在分布内与分布外两种条件下都取得所评估集成方法中最高的宏平均任务表现。
做法是先估计每个候选模型答对某条提示的概率,再用这些概率推算一个模型子集里多数模型同时答对的概率。 PISA用X-means对提示嵌入聚类,以软隶属度代替硬分配,并为每个模型训练独立的L2正则逻辑回归预测器;PISA-E把同一组能力估计代入泊松二项动态规划,得到严格多数成功概率,作为集成成功率的替代量。 候选子集按单模型效用排序后取奇数长度的前缀,在显式成本—质量偏好下比较;选中的模型并行查询,再用按能力加权的BERTScore语义相似度合成最终回答。
成本—质量偏好可以在推理时调整,同一套已拟合的能力估计器服务多个工作点。 质量优先时PISA-E在分布内达到75.27%、分布外达到63.24%的宏平均任务表现,分别高出最强集成对手2.09和2.87个百分点。 在选定的低成本工作点上,它仍超过最强集成对手的宏平均任务表现,同时把平均推理成本分别降低约36%(分布内)和25%(分布外)。
启示与展望
评估覆盖LLMRouterBench Track-2、RouterBench、FusionBench和SPROUT四个基准,分布外条件只用分布内任务组训练、在留出任务组上测试,所有方法都使用基准提供的模型回答。读者对象是需要在多模型池上做成本—质量取舍的推理服务设计者。
严格多数成功概率只是集成成功率的替代量,最终回答还取决于生成回答之间的关系;贪心前缀构造不保证全局最优子集。固定成员数量的配置在部分基准上仍有竞争力,RouterBench上固定配置的HV更高。
