跳到主要内容
检索

# 测试时计算

6 篇关联报道

订阅更新
  1. arXiv

    推理不再只靠事后投票:VGSC在解码中随机接受候选步,平均准确率63.1%

    大模型多步推理的测试时搜索长期在两种不完美信号之间取舍:事后投票保留多样性却无法把生成引向正确路径,束搜索式验证器引导能提前干预却容易过度集中并放大验证器误差。VGSC把逐步正确性与未来结果预测合成一个接受权重,在解码时对候选步做有上限的拒绝重采样,同时保留多条轨迹做最终自洽投票。在五个推理基准、Qwen2.5 Math 1.5B Instruct生成器与Qwen2.5 Math PRM 7B验证器下,VGSC在验证器信任指数为10时取得63.1%的平均准确率,高于最强非VGSC基线BS+SC-Future的60.7%。

  2. arXiv

    机器学习智能体不必每次都真跑:4B世界模型预测程序结局,17项任务命中77.9%

    AI研究智能体每试一个候选程序都要训练和评估模型,执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来,只读代码与数据说明就预测程序的终端输出、异常类型和验证分数,并给出置信度。在17项 MLE-bench Lite 任务的留出程序上,其预测终端输出与真实运行一致的比例为77.9%,提示模型基线为41.1%;以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现,同时减少真实执行。

  3. arXiv

    循环推理不再只留最新状态:注意力残差让7M小模型在近2.5万层仍保持解

    循环Transformer在测试时反复执行同一共享块来加深推理,但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合:共享伪查询给每个候选打分,学习到的指数衰减压低旧输出权重,聚合结果以精确流式递推实现,每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上,7M参数模型达到97.9%精确准确率,超过FPRM的94.2%;在1,872层时达到90.9%,而FPRM要到3,744层才有90.1%。

  4. arXiv

    测试时计算如何提升表格基础模型:DiagScale 微调与贪心聚合带来稳定增益,上下文构建收益依任务而定

    该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响:提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新,在三个独立预训练骨干上取得与全量微调相当的增益;在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差,而均匀平均反而增大误差;注意力引导检索在部分大表上改善 TabPFN-3 预测,上下文扩展方法则无一致提升。

  5. arXiv

    掩码扩散TTS中精修提升可懂度、搜索提升身份:深度与推理步数不可互换

    该工作训练了15个掩码扩散编解码器TTS模型(19-133M参数、3个随机种子),在2000小时语音上训练并在推理时扫描精修步数T∈[1,16],对174名留出说话人测量零样本合成的ASR词错误率与说话人验证;结果显示精修弥合了86.2%的可懂度区间但仅弥合46.4%的身份区间(1.86倍不对称),Best-of-K搜索在四个独立编码器上以64.6-79.0%胜率恢复身份,且可分离的B(d)B(T)模型拟合显著优于替代模型(ΔAICc=+69.3),62%的剩余身份缺口位于编解码器而非生成器。

  6. arXiv

    TAPS 让循环 Transformer 按轨迹自适应步长:Sudoku 准确率升至 91.39%、Maze 达 79.90%,并减少到达同等精度所需的循环次数

    该工作提出轨迹自适应进展—波动调度器 TAPS,用指数移动平均在线估计循环更新中的持续进展与中心波动并据此调整每步更新尺度,理论证明在给定条件下可降低期望终端损失、以更少循环达到目标质量,实验在 Sudoku、Maze 及语言模型与中间层循环等设置中提升终端准确率并带来最高约 1.5 倍墙钟加速。

已读完全部报道