跳到主要内容
返回时间线
arXiv来源发表:

Route Anything把路由扩到图像、视频、语音与机器人:学习型路由器在16个基准上比最佳固定候选高0.3分

核心概要

通用AI系统正从单一模型转向编排多种专用模型、工具与策略,但路由此前主要只在语言模型上研究。Route Anything构建了覆盖25个基准、452个候选配置、374,401次评分运行的统一轨迹矩阵,并给出质量—成本权衡下的路由理论。在19,814个测试输入上,逐输入oracle比最佳固定候选高5.38分;学习型路由器在16个基准上高0.3分,在视频生成上高2.1分,在机器人操作上高1.1分且策略时间少24%。

AI-generated editorial illustration: Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems

深度剖析

路由的价值不再只按语言模型衡量,而是放在文本问答、图像-文本问答、图像生成、视频生成、语音生成、代码与办公智能体、机器人操作七类任务上统一比较。 此前的路由研究集中在语言模型,包括逐级升级到更强模型的级联、从偏好数据学习的路由器,以及把质量与成本联系起来的表述;路由能否跨模态带来收益仍是开放问题。 在19,814个所有候选都被评分的测试输入上,按基准选出的最佳固定候选得82.60分,逐输入oracle得87.98分,差距5.38分;语音生成差距0.68分,视频生成与机器人操作各约18–19分。

路由器能拿到的收益取决于它观察到什么:只看到基准或任务类型时,大部分潜在增益拿不到。 按基准事后挑选最佳候选只把82.60分抬到82.62分;在18个基准的能力树上,按107个能力叶子事后挑选最佳候选得77.89分,固定候选为77.03分,oracle为87.44分。 在RoboTwin上,按任务与场景条件事后挑选策略可回收18.4分差距中的23%;在GenEval2上,其余五个生成器各自在76–100个训练提示上比固定生成器高出两分以上,同时又在更多提示上落后。

一个在全部基准上同时训练的4B路由器,在16个基准上把分数从79.68分提到79.98分,并在候选互补的地方偏离固定候选。 固定候选按训练输入为每个基准选出最佳候选;能力树路由器用Qwen3.5-4B分类器预测157个叶子之一,再由训练输入拟合的全局表把叶子映射到候选。 叶子分类器准确率86–89%,但83–86%的输入仍被送往固定候选;提升集中在Terminal-Bench、VBench-2.0、OneIG与GDP.pdf,最大损失出现在AA-LCR;在GenEval2与Qwen-Image-Bench的31种路由器设计、124个配置中,没有一个以高于零的区间胜过固定生成器。

在机器人操作上,路由器读取三帧相机图像与机器人状态,按场景条件在策略之间切换,用更少的策略时间取得更高成功率。 ME-Dex在训练场景与测试场景上都是最佳单一策略,测试成功率70.45%,PatchWAM以63.65%居次;最佳策略在干净场景与域随机化场景之间发生翻转。 路由器把1,000个干净场景中的929个送给PatchWAM、把1,000个随机化场景中的842个送给ME-Dex,总体成功率71.55%对70.45%,每场景策略时间11.05秒对14.51秒,少24%。

启示与展望

结论建立在25个基准、452个候选配置、374,401次评分运行的轨迹矩阵上,测试比较使用19,814个所有候选都被评分的输入;机器人结果来自RoboTwin 2.0的2,000个测试场景,其中一半为干净场景、一半为域随机化场景,且来自路由器训练时未见过的10个任务。理论把状态分布视为给定,因此不覆盖依赖路由器自身先前选择的状态,例如包含模型先前代码的SciCode步骤;认证还需要参考策略在每个认证输入上的结果。

在11个文本、智能体与图像基准上,结果路由器与匹配的固定候选的差异落在噪声范围内;68类型路由器虽然准确率75%,却有93%的预测映射到与真实类型相同的候选,得分比固定候选低1.32分。在机器人上,获胜者标签分类器只达到42.8%成功率,而逐策略结果回归为71.6%,原因是延迟平局规则决定了94%的标签。图像生成中31种路由器设计、124个配置没有一个以高于零的区间胜过固定生成器,44个显著更差。