幂分布采样被拆穿：MCMC与SMC在真实算力下不收敛，简单Best-of-N就能追平
核心概要
对幂分布做MCMC与SMC采样在现实算力下无法收敛，其推理增益大多可由简单的Best-of-N选择复现；直接微调逼近幂分布的Power-RLOO只在基座模型已与任务对齐时才带来提升。
深度剖析
近期被用来在测试时锐化大模型推理的幂分布采样，在现实算力预算下并不能真正收敛到目标分布。 此前工作把MCMC与SMC采样器的推理增益归因于对幂分布的忠实逼近。 在MATH500与GPQA Diamond上，Power-SMC与Best-of-N w/ Resampling等选择式基线给出接近的准确率，说明增益来自挑选高概率序列而非逼近幂分布。
Power-RLOO改为直接微调基座模型去逼近幂分布，绕开采样器收敛问题。 此前只能靠MCMC或SMC近似采样幂分布。 该方法把幂分布写成带对数似然奖励的KL正则强化学习目标，用LoRA适配器只学习低温度采样之外的lookahead修正项，在Qwen2.5-7B与Phi-3.5-mini-Instruct上训练。
忠实逼近幂分布带来的准确率提升并不稳定，且依赖模型与任务。 此前认为逼近质量本身就能驱动推理提升。 在Qwen2.5-7B-Instruct上Power-RLOO取得MATH500 78.4%与GPQA 41.0%，但在较弱的Phi-3.5-mini-Instruct上MATH500为43.6%，低于Power-SMC的46.6%。
启示与展望
报告覆盖的是测试时锐化这一设置：在MATH500与GPQA Diamond上比较MCMC、SMC、Best-of-N与Power-RLOO。适合关注无奖励信号推理与测试时算力分配的研究人员和工程师阅读。原文未提出下一步实验计划。
原文指出Power-RLOO的增益是有噪声的，且只在基座模型已与任务对齐时超过低温度解码；在Qwen-Base上它塌缩为过短补全，而SMC与Best-of-N因未收敛反而避开该问题。弱锐化可提升pass@k，但Power-SMC的pass@k受粒子退化影响。