跳到主要内容
返回时间线
arXiv来源发表:

OMVV 用多验证器在线路由,在推理基准上以更低验证成本取得比任何单一固定弱验证器更高的准确率

相关研究与后续进展

核心概要

该工作提出 OMVV(Online Multi-Verifier Verification),维护一个由 K 个成本与验证性能各异的候选弱验证器组成的池,通过在线分数组合器与指数权重路由策略自适应地为每一轮选择验证器,在全部验证器池上给出无分布假设的有限时间假接受率与假拒绝率保证,并在成本与一致性联合目标下相对事后最优固定验证器实现次线性遗憾;在推理数据集基准上的实验显示,OMVV 在多种运行预算下比任何单一固定验证器准确率更高、验证成本更低。

Source-provided article image: Online Verification of Language Model Responses Under Cost Constraints
Figure 1 ·

Figure 1: Mean probability that OMVV routes to the cheaper verifier (Qwen2-1.5B), by difficulty. On easy problems, OMVV favors the cheaper verifier with substantially higher probability than on hard problems, where it shifts toward the more expensive verifier.

arXiv

深度剖析

提出 OMVV 算法,用验证器池替代单一固定弱验证器,并通过在线分数组合器与指数权重路由策略在每一轮自适应选择验证器。 此前做法是在每一步查询单个弱验证器,再用其分数决定是否调用昂贵的强验证器;OMVV 把这一决策扩展到 K 个成本与验证性能不同的候选弱验证器,从而应对主题或难度随时间变化时单一固定弱验证器表现不稳定的问题。 摘要给出算法结构与动机,并说明其针对“单一固定弱验证器可能随查询主题或难度变化而表现不一致、事先固定一个验证器会带来过高成本或不准确验证”的问题。

OMVV 在全部验证器池上提供无分布假设的有限时间假接受率与假拒绝率保证。 该保证覆盖整个验证器池而非单个验证器,属于理论层面的可靠性刻画。 摘要明确陈述“distribution-free, finite-time guarantee on false-accept and false-reject rates across the full pool of verifiers”。

在成本与一致性联合目标下,OMVV 相对事后最优固定验证器实现次线性遗憾。 把在线学习中的遗憾界引入验证器路由,使自适应路由在长期运行中不显著劣于事后看来最好的那个固定验证器。 摘要陈述“achieves sublinear regret against the best fixed verifier in hindsight under a combined cost and consistency objective”。

在推理数据集基准上,OMVV 在多种运行预算下比任何单一固定验证器准确率更高且验证成本更低。 实验把多验证器在线路由与单一固定验证器在准确率—成本两个维度上直接比较。 摘要报告“Experiments on reasoning dataset benchmarks show that OMVV achieves higher accuracy at lower verification cost than any single fixed verifier, across a range of operating budgets”;具体数据集名称、预算数值与效应量未在摘要中给出。

启示与展望

该工作面向在线、多步推理场景下的输出验证:当每步调用昂贵真值 oracle 不现实、但可调用多个成本与性能不同的弱验证器时,OMVV 通过池化与自适应路由在给定运行预算下选择验证器。其理论结果适用于全部验证器池的假接受率与假拒绝率,以及相对事后最优固定验证器的成本—一致性联合目标。摘要所述实验限于推理数据集基准与若干运行预算范围。

摘要未给出具体数据集名称、运行预算取值、K 的规模、假接受/假拒绝率的具体数值以及遗憾界的形式,因此无法从摘要判断保证的紧致程度与实验效应量。验证器池的构建方式、各弱验证器成本与性能差异的设定,以及“combined cost and consistency objective”的具体形式,均需查阅正文。摘要亦未说明该保证对验证器间相关性的依赖条件。

来源