智能体学会在隐空间里思考：HybridAgent 在 11 项基准上平均提升 10.4%，token 用量最多降 54.7%
核心概要
HybridAgent 让同一个智能体在生成过程中于连续隐空间推理与文本交互之间来回切换，从而在保留工具调用能力的同时把部分思考从逐词解码中移出。此前文本智能体每一步都要写成 token，而隐空间推理方法又缺少原生工具接口、难以检查。该智能体在数学、科学、医学、搜索与智能体推理共 11 项基准、4B 至 14B 三个规模上，相对文本与隐空间两类前沿智能体平均提升 10.4%，并报告 35.5%–54.7% 的 token 减少与 1.8–2.6 倍推理加速。
深度剖析
智能体可以在一次生成中交替使用两种媒介：连续隐向量承载内部推理，文本负责调用工具和对外表达。 此前的智能体把每一步中间推理都解码成文本 token 才能行动，而隐空间推理模型把计算留在模型内部，缺少多轮工具调用的原生通路，也不易被监督和审查。 在覆盖数学、科学、医学、知识搜索与智能体推理的 11 项基准上，HybridAgent 相对文本与隐空间两类前沿智能体和智能体框架平均提升 10.4%，同时报告 35.5%–54.7% 的 token 减少、1.8–2.6 倍推理加速和 2.7–3.7 倍成本节省。
两种模式之间的切换由一个轻量适配器完成，它把最后一层隐状态映射回输入嵌入空间，使隐空间步骤可以接着文本步骤继续生成。 直接把最后一层隐状态当作下一步输入会与预训练输入空间产生表示错配，使连续隐状态与离散 token 之间的转换变得困难。 该适配器约 10M 参数（4B 模型），以残差连接保留原隐状态语义；在 14B 骨干上，带残差的两层设计在 MATH500、MedQA、MuSiQue 上分别为 88.2、81.7、34.5，高于无对齐的直接复用（71.4、73.7、24.5）。
多轮混合生成依靠连续工作记忆维持，文本、隐向量和工具观测都以 KV 条目形式按位置累积，下一轮直接从这份记忆继续。 标准智能体每轮把生成内容和工具输出重新编码进文本上下文，而混合轨迹交织着文本 token 与隐向量，无法仅靠常规分词重建。 工作记忆保留完整混合上下文，无需把隐空间思考转回文本；训练分两段，先用 54K 条混合轨迹做 HybridSFT，再用 12K 条深度推理样例和 1K 条智能体搜索样例做 HybridRL。
启示与展望
评估覆盖数学、科学、医学、知识搜索与智能体推理共 11 项基准，模型为 Qwen3-Base 的 4B、8B、14B 三个规模，工具限于沙箱中的 Python 解释器与实时搜索引擎，每条轨迹最多 10 次工具调用。
效率数字是相对文本与隐空间基线的报告值，成本估计按每 H100 小时 2.50 美元、峰值 BF16 吞吐 10% 利用率计算，且不含提示预填充、依赖上下文的注意力和外部工具执行；现有训练与推理框架不直接支持多轮混合生成，需要扩展基础设施。