跳到主要内容
检索

# 潜在推理

9 篇关联报道

订阅更新
  1. arXiv

    智能体学会在隐空间里思考:HybridAgent 在 11 项基准上平均提升 10.4%,token 用量最多降 54.7%

    HybridAgent 让同一个智能体在生成过程中于连续隐空间推理与文本交互之间来回切换,从而在保留工具调用能力的同时把部分思考从逐词解码中移出。此前文本智能体每一步都要写成 token,而隐空间推理方法又缺少原生工具接口、难以检查。该智能体在数学、科学、医学、搜索与智能体推理共 11 项基准、4B 至 14B 三个规模上,相对文本与隐空间两类前沿智能体平均提升 10.4%,并报告 35.5%–54.7% 的 token 减少与 1.8–2.6 倍推理加速。

  2. arXiv

    决策模型不再只跑一遍:同一批层循环八次,1.4B模型逼近三倍参数的单次模型

    类型化决策模型过去只做一次前向传播就给出选项概率,算力固定,遇到需要多步推理的判定就吃力。SanSi把预训练时就带循环的语言模型改造成决策模型,每一轮循环都读出选项概率并用恰当评分规则训练,因此一个模型可服务从一轮到八轮的所有算力预算。在来自59个来源的10,027条测试决策上,它达到72.0%准确率,比同形状、同配方的非循环模型高13.5个百分点,比参数三倍于它的单次模型低1.8个百分点,代价是单次传播7.7倍的GPU时间。

  3. arXiv

    LLoCoT 用循环 Transformer 迭代精炼潜在工作区,在 HumanEval 与 MBPP 上以并行潜在推理达到与显式 CoT 相当的准确率,并将首答延迟降低约 36 倍

    作者提出 LLoCoT:用共享 Transformer 对紧凑潜在工作区做少量迭代精炼,替代从左到右的潜在生成,再由概率头并行采样潜在 token 以条件化自回归解码器;在 HumanEval 与 MBPP 上其平均准确率与显式 CoT 基线 Reasoning SFT 相当,并优于基座模型、仅答案 SFT 与 NF-CoT,同时相对 Reasoning SFT 将首答时间降低约 36 倍、推理阶段延迟降低约 42 倍、端到端吞吐提升 9.2%。

  4. arXiv

    Latent JEPA 用联合嵌入预测未来视图,在 ChemCoTBench 上提升分子优化与编辑、反应指标

    作者提出 Latent JEPA 框架,把自回归学习与对一个或多个未来视图的联合嵌入预测结合,并为化学推理设计文本与分子预测目标,使连续潜在思维在不逐字展开中间步骤的情况下预判后续推理与分子结果;在 ChemCoTBench 上观察到分子优化以及若干编辑与反应指标的提升,表征分析显示未来预测使潜在思维对分子结果更具信息量、与化学结构的对应更强。

  5. arXiv

    SynLat 用句法对齐单元做文本-隐空间混合压缩,在约 44% 压缩率下保留 94.0% 的未压缩准确率

    SynLat 把思维链压缩重新表述为表示保真度的分配问题:用成分句法把推理轨迹切成有序不重叠的句法对齐单元(SAU),由答案条件化的教师模型为单个压缩条件化学生模型生成渐进式 KEEP/LATENT 目标,隐单元映射到共享离散码本;推理时学生模型仅凭问题和压缩等级生成文本与隐符号混合的思维链。在两个 Qwen3 学生规模、Standard- 与 Long-CoT 任务组、三个压缩等级共 12 个任务组聚合中,SynLat 全部达到或超过最强基线,其中 11 个严格领先;MEDIUM 下总体领先 3.6/2.6 个百分点,HIGH 下扩大到 7.0/5.5 个百分点。

  6. arXiv

    FLaRe用流匹配在潜空间做推理,五项探针全面超越既有潜推理方法,并以四分之一延迟达到显式思维链97%准确率

    作者提出潜推理的五项要求(有用、多样、可解释、可精化、高效),并给出基于学习潜空间中流匹配的配方FLaRe:用符号思维链训练VAE、对输入与潜码加扰动、把流训练集中在接近纯噪声处、答案读取器同时读加噪码与模型自身预测、再用自验证 rollout 自训练;探针显示FLaRe在五项要求上均优于Coconut、CODI、PCCoT,在算术基准上表现更好,并以约四分之一延迟达到显式思维链97%的准确率。

  7. arXiv

    AURAL 用潜空间推理与联合分块预测,在语音语言模型上以 11.8 倍更快的首答延迟达到与 CoT-RL 相当的性能

    该工作提出 AURAL,在潜空间中建模多种可能推理延续的分布并联合预测未来状态分块,配合 683K 条双语语音话语(约 1000 小时)的 AuralReason-683K 监督与 AURAL-RL 强化学习,在两个骨干网络上取得与 CoT-RL 相当的性能,多数指标上相对各自监督检查点提升更大,并在 Qwen2.5-Omni 上将首个答案 token 的时间从 1.22 秒降至 0.10 秒(11.8 倍),而直接回答为 0.05 秒。

  8. arXiv

    TAPS 让循环 Transformer 按轨迹自适应步长:Sudoku 准确率升至 91.39%、Maze 达 79.90%,并减少到达同等精度所需的循环次数

    该工作提出轨迹自适应进展—波动调度器 TAPS,用指数移动平均在线估计循环更新中的持续进展与中心波动并据此调整每步更新尺度,理论证明在给定条件下可降低期望终端损失、以更少循环达到目标质量,实验在 Sudoku、Maze 及语言模型与中间层循环等设置中提升终端准确率并带来最高约 1.5 倍墙钟加速。

  9. arXiv

    REST 给潜空间思维加四项可微损失,在 7 个基准上把准确率最高提升 7.5 个百分点

    该工作指出仅用最终答案交叉熵训练潜空间递归 LLM 系统会让思维表征出现四类失效,提出 REST 把因果性、最小性、可分离性与稳定性四项性质转成可微损失加到交叉熵上,在数学、科学、医学与代码生成的 7 个基准上、相同训练数据与潜空间预算下,多智能体平均提升 3.5 个百分点、单智能体平均提升 3.3 个百分点,最佳配置分别达 7.5 与 6.5 个百分点,并把收敛到最终答案的比例从 73% 提高到 95%。

已读完全部报道