跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

Power-SMC 用并行候选序列与重要性权重剪枝逼近序列级幂分布,在 MATH500、GSM8K、GPQA、HumanEval 上匹配或超过 MH 采样并把推理加速至多 17.6 倍

该工作提出免训练采样方法 Power-SMC,通过并行维护多条候选序列、以重要性权重衡量其与序列级幂分布的匹配程度并周期性剪除低分序列,在 MATH500、GSM8K、GPQA 和 HumanEval 上取得与 Metropolis-Hastings 采样相当或更高的准确率、保持输出多样性,同时把推理速度提升至多 17.6 倍。