跳到主要内容
检索

# 免训练大语言模型推理

3 篇关联报道

订阅更新
  1. arXiv

    幂分布采样被拆穿：MCMC与SMC在真实算力下不收敛，简单Best-of-N就能追平

    对幂分布做MCMC与SMC采样在现实算力下无法收敛，其推理增益大多可由简单的Best-of-N选择复现；直接微调逼近幂分布的Power-RLOO只在基座模型已与任务对齐时才带来提升。

    Lancaster University
    Abiel Malkani Talwar（第一作者）
    Power-RLOO幂采样序贯蒙特卡洛马尔可夫链蒙特卡洛免训练大语言模型推理
  2. arXiv

    Power-SMC 用并行候选序列与重要性权重剪枝逼近序列级幂分布，在 MATH500、GSM8K、GPQA、HumanEval 上匹配或超过 MH 采样并把推理加速至多 17.6 倍

    该工作提出免训练采样方法 Power-SMC，通过并行维护多条候选序列、以重要性权重衡量其与序列级幂分布的匹配程度并周期性剪除低分序列，在 MATH500、GSM8K、GPQA 和 HumanEval 上取得与 Metropolis-Hastings 采样相当或更高的准确率、保持输出多样性，同时把推理速度提升至多 17.6 倍。

    Intel (United States)University of Southern California
    Seyedarmin Azizi（第一作者）
    Power-SMC 采样方法幂采样免训练大语言模型推理
  3. arXiv

    9B小模型靠并行回火采样在GPQA、AIME与LCB上追平前沿模型，且无需更新参数

    该工作提出并行功率回火（PPT），把经典并行回火（副本交换）搬到序列级功率锐化采样上，用不同锐化强度的多个副本并行探索与利用、并通过交换把有希望的推理轨迹送到最锐化的输出链，同时用固定视界构造消除早期停止功率采样中的结构性截断偏差；在Qwen3-4B、Qwen3-8B与Qwen3.5-9B上跨MATH500、GPQA、HumanEval、GSM8K、AIME 24&25与LiveCodeBench v5的评测中，PPT在所有模型—基准组合上取得最好或并列最好成绩，超过Power Sampling、PowerSMC与GRPO，且Qwen3.5-9B上达到与前沿模型相当的水平。

    Morgan Stanley (United States)Georgia Institute of TechnologyThe University of Texas at El Paso
    Panagiotis Theodoropoulos（第一作者）
    并行幂回火并行回火Metropolis–Hastings采样免训练大语言模型推理

已读完全部报道