跳到主要内容
检索

# 模型路由

5 篇关联报道

订阅更新
  1. arXiv

    电磁信号多任务不再各训一个专家:GLCR 用两阶段路由,路由准确率 96.16%

    电磁信号处理长期按任务各训一个专家,跨任务难以复用,而电磁基础模型又要付出大规模预训练与共享骨干推理的代价。GLCR 改为在冻结的异构专家池上做路由:先用带加性间隔的一维 CNN 做全局分派,再对易混淆任务对用四个物理统计量做局部复核。在 HeteroSignal-7 基准上,它取得 96.16% 路由准确率和 76.30% 系统得分,均高于全部 19 个基线,单样本路由延迟 1.43 ms。

  2. arXiv

    模型切换不再丢掉前缀缓存:ShadowPrefill借空闲算力预热,切换调用延迟最多降21.4%

    按步路由的智能体每次换模型,目标模型都要重新预填整段上下文,前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上,用正常流量实例的空闲容量提前预填会话上下文,让下一次切换直接命中缓存。在24个模型对、五个智能体基准上,切换调用延迟降低8.5–21.4%,路由token成本降低22.5–46.1%,正常流量的SLO不受影响,每请求能耗上升0.4%。

  3. OpenRouter Blog

    OpenRouter 重写 Auto Router 并新增 Auto Code:路由步骤 p90 从 1.96 秒降到 0.65 秒

    OpenRouter 发布新一代 Auto Router,并新增面向编程场景的 Auto Code 路由器。旧版只依赖任务类型等少数不精确信号选模型,新版在一次调用中评估请求的十一项因素,再结合实时价格、供应商健康度和缓存状态决定模型与推理强度。在五项基准上,Auto Code 的得分与 Claude Opus 5.5 相当,而每个任务成本低 74%;实时测试中路由步骤 p90 为 0.65 秒,旧版为 1.96 秒。

  4. arXiv

    Route Anything把路由扩到图像、视频、语音与机器人:学习型路由器在16个基准上比最佳固定候选高0.3分

    通用AI系统正从单一模型转向编排多种专用模型、工具与策略,但路由此前主要只在语言模型上研究。Route Anything构建了覆盖25个基准、452个候选配置、374,401次评分运行的统一轨迹矩阵,并给出质量—成本权衡下的路由理论。在19,814个测试输入上,逐输入oracle比最佳固定候选高5.38分;学习型路由器在16个基准上高0.3分,在视频生成上高2.1分,在机器人操作上高1.1分且策略时间少24%。

  5. arXiv

    图像编辑智能体重试不再盲选模型:RetryRoute按失败历史规划,主预算下成功率平均高出最强基线2.8个百分点

    网页智能体在“评审—重试”循环里调用开放图像编辑模型,而一次失败后的重试成功率只有首次尝试的17%–53%,现有路由器却把重试当作独立抽样。RetryRoute按请求的失败历史估计每个模型下一次尝试的成功概率,在失败状态上规划重试、升级与放弃,并把实时排队等待计入成本。在八个评测组的主预算下,其循环内评审成功率平均高出十一个先前基线中最强者2.8个百分点;在三卡GPU服务测试台上,同一套设置使满足服务目标的编辑比例在每个负载下高出最佳先前基线5.0–6.3个百分点。

已读完全部报道