推理采样不再一次只走一步：预取整棵接受/拒绝子树，PowerMH 中位提速1.71倍
核心概要
PowerMH 的接受/拒绝判定必须串行，每次判定后才能生成下一个提议；PreSTO 把未来若干步的提议放进一次批量调用预取，在七个数据集和五个基座模型上对 PowerMH 取得 1.71 倍中位加速，且不改变其转移核。
深度剖析
推理时的幂采样不再一次只推进一个 MH 转移。PreSTO 把未来若干步的接受/拒绝结果看成一棵树，在一次批量模型调用里生成这棵预取子树上可行的提议，再按原来的 MH 接受规则沿实际走出的那条路径前进。 此前 PowerMH 的每一步提议都必须等上一步的接受或拒绝结果确定新状态后才能生成，因此一次模型调用只完成一个 MH 转移。 在七个数据集和五个基座模型共 105 个设置上，PreSTO 相对 PowerMH、EntropyCut、MultiTryMH 的中位加速分别为 1.71 倍、1.91 倍和 2.33 倍，且没有任何一个设置比基线慢。
加速来自更少的模型调用，而不是更便宜的调用。每次 PreSTO 调用会完成多个 MH 转移，因此调用次数下降，但单次调用因为要批量生成多个提议而变长。 PowerMH 每次调用只完成一个转移；PreSTO-PowerMH 在 LCB V6 与 Qwen3.5-9B 上每次调用平均完成 4.96 个转移，调用次数减少 4.92 倍，单次调用耗时变为 3.42 倍。 在 LCB V6 与 Qwen3.5-9B 上，PreSTO-PowerMH 用 375.12±35.08 秒完成 100 个转移，PowerMH 用 539.24±30.92 秒，累计调用时间加速 1.44 倍。
预取哪些提议由预测决定，而不是均匀铺开。作者观察到 MH 实际只走到预取子树中稀疏、近乎单链的一部分，于是用分类器预测每个候选请求的确定性类别，再用动态规划在预算内挑选能最大化预期完成转移数的子树。 默认的广度优先遍历不管 MH 有多大概率走到某个节点都会展开它，因此把预算花在 MH 很少访问的节点上。 在 LCB V6 与 Qwen3.5-9B 上，预测遍历规则在测试的全部五个预取预算下都比广度优先快 1.25 倍到 1.37 倍，在 100 个提示与预算组合中有 98 个更快。
启示与展望
报告覆盖的是把 PreSTO 套在 PowerMH、EntropyCut、MultiTryMH 三种串行 MH 采样器上的加速效果，实验在七个数据集、五个基座模型上运行，每个数据集取前 20 个提示、固定 1024 个 token 的响应长度与 100 个已实现 MH 转移。适合正在使用或评估幂采样推理、关心推理延迟与显存占用的研究人员和工程师阅读。
作者报告预测遍历规则在 20 个提示与预算组合中有 11 个完成更多转移、8 个更少，因此其加速是全部子树上的平均，而不是每棵树都更快。等价检验在 38 次比较中有 29 次成立，其余比较的 90% 区间越过了 0.2 个基线标准差的边界。确定性比例与每次调用转移数之间的联系被作者明确称为相关性，因为直方图统计的是所有被打分的判定，而不是实际发生的接受。