并行推理不再把每条路径写完:PreG先看前缀再决定,54/60种配置省下token
大模型并行测试时扩展通常把每条推理路径完整生成后才用内部置信度打分,低质量路径的算力已经花掉。PreG改为先并行生成短前缀,用内部置信度排序,只把最有希望的候选补全,再按原有投票方式聚合。在Qwen3-8B与Llama-Nemotron-4B上的数学竞赛题和GPQA-Diamond评测中,它以更少token达到原方法1000k预算的准确率,60种配置里54种省token,最多省80%。
大模型并行测试时扩展通常把每条推理路径完整生成后才用内部置信度打分,低质量路径的算力已经花掉。PreG改为先并行生成短前缀,用内部置信度排序,只把最有希望的候选补全,再按原有投票方式聚合。在Qwen3-8B与Llama-Nemotron-4B上的数学竞赛题和GPQA-Diamond评测中,它以更少token达到原方法1000k预算的准确率,60种配置里54种省token,最多省80%。
已读完全部报道