跳到主要内容
检索

# Open-Jev

1 篇关联报道

订阅更新
  1. LMSYS Org

    决策模型不必生成解释:SGLang 的 Score API 让多候选打分复用共享查询,延迟随候选数几乎不涨

    面向订单状态这类决策任务,应用往往只需要一个类别或分数,而不是一段解释。SGLang 的 Score API 让调用方显式声明标签 token 并直接取分,多条目打分(MIS)则在一次请求内复用重复的查询计算、同时保持各候选相互隔离。在 Open-Jev 选择题负载上,候选数从 2 增到 16 时 MIS 延迟近乎持平:Qwen3-0.6B 为 18.7 ms,对照 Generate 的 39.6 ms 与 SIS 的 24.3 ms;这一优势随负载上升最明显,低负载下并不总是更快。

已读完全部报道