跳到主要内容
检索

Morgan Stanley (United States)

3 篇关联报道

订阅更新
  1. arXiv

    推理采样不再一次只走一步:预取整棵接受/拒绝子树,PowerMH 中位提速1.71倍

    PowerMH 的接受/拒绝判定必须串行,每次判定后才能生成下一个提议;PreSTO 把未来若干步的提议放进一次批量调用预取,在七个数据集和五个基座模型上对 PowerMH 取得 1.71 倍中位加速,且不改变其转移核。

  2. arXiv

    测试时计算如何提升表格基础模型:DiagScale 微调与贪心聚合带来稳定增益,上下文构建收益依任务而定

    该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响:提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新,在三个独立预训练骨干上取得与全量微调相当的增益;在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差,而均匀平均反而增大误差;注意力引导检索在部分大表上改善 TabPFN-3 预测,上下文扩展方法则无一致提升。

  3. arXiv

    9B小模型靠并行回火采样在GPQA、AIME与LCB上追平前沿模型,且无需更新参数

    该工作提出并行功率回火(PPT),把经典并行回火(副本交换)搬到序列级功率锐化采样上,用不同锐化强度的多个副本并行探索与利用、并通过交换把有希望的推理轨迹送到最锐化的输出链,同时用固定视界构造消除早期停止功率采样中的结构性截断偏差;在Qwen3-4B、Qwen3-8B与Qwen3.5-9B上跨MATH500、GPQA、HumanEval、GSM8K、AIME 24&25与LiveCodeBench v5的评测中,PPT在所有模型—基准组合上取得最好或并列最好成绩,超过Power Sampling、PowerSMC与GRPO,且Qwen3.5-9B上达到与前沿模型相当的水平。

已读完全部报道