推理采样不再一次只走一步:预取整棵接受/拒绝子树,PowerMH 中位提速1.71倍
PowerMH 的接受/拒绝判定必须串行,每次判定后才能生成下一个提议;PreSTO 把未来若干步的提议放进一次批量调用预取,在七个数据集和五个基座模型上对 PowerMH 取得 1.71 倍中位加速,且不改变其转移核。
PowerMH 的接受/拒绝判定必须串行,每次判定后才能生成下一个提议;PreSTO 把未来若干步的提议放进一次批量调用预取,在七个数据集和五个基座模型上对 PowerMH 取得 1.71 倍中位加速,且不改变其转移核。
该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响:提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新,在三个独立预训练骨干上取得与全量微调相当的增益;在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差,而均匀平均反而增大误差;注意力引导检索在部分大表上改善 TabPFN-3 预测,上下文扩展方法则无一致提升。
该工作提出并行功率回火(PPT),把经典并行回火(副本交换)搬到序列级功率锐化采样上,用不同锐化强度的多个副本并行探索与利用、并通过交换把有希望的推理轨迹送到最锐化的输出链,同时用固定视界构造消除早期停止功率采样中的结构性截断偏差;在Qwen3-4B、Qwen3-8B与Qwen3.5-9B上跨MATH500、GPQA、HumanEval、GSM8K、AIME 24&25与LiveCodeBench v5的评测中,PPT在所有模型—基准组合上取得最好或并列最好成绩,超过Power Sampling、PowerSMC与GRPO,且Qwen3.5-9B上达到与前沿模型相当的水平。
已读完全部报道