跳到主要内容
检索

# 潜在空间通信

4 篇关联报道

订阅更新
  1. arXiv

    工具输出不必再转成文字:Coca-Cola 把检索结果压成隐向量,网页搜索智能体省下七成以上 token

    网页搜索智能体每调用一次工具,返回的长文本都会原样追加进上下文,多步之后上下文迅速膨胀并稀释注意力。Coca-Cola 改把这些观察压成少量连续隐向量,直接嵌入智能体的输入嵌入空间,并用动作保持训练让压缩前后下一步动作分布对齐。在四个问答基准和两组模型上,总 token 消耗降低 70.01%–89.24%,端到端运行时间降低 24.45%–55.97%,EM 与 F1 在各设置下均高于未压缩智能体。

  2. arXiv

    扩散语言模型智能体不再先解码再传话:一条隐藏消息在QASC上比四轮往返高7.0分

    扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。

  3. arXiv

    冻结智能体只训练潜在通信链路,良性训练即把有害顺从从文本通信水平推高,RL攻击把均值从27.9拉到76.9

    该工作研究多智能体系统中以可训练轻量链路替代文本通信的潜在通信安全性,发现仅训练链路、冻结全部智能体参数时,良性链路训练即可相对文本通信提高有害顺从,攻击者可通过在有害问答对上优化链路、向良性训练数据投毒,或用奖励引导的强化学习攻击(无需有害目标回复)进一步放大该效应,在三种通信拓扑与四个安全基准上把平均有害顺从分数从良性训练链路的27.9提升到76.9,并显示把奖励转向更安全行为可仅更新链路就大幅降低有害顺从。

  4. arXiv

    Draft-KV 让接收方真正用上共享方草稿的 KV 状态:MMLU-Redux 上 0.5B 接收方从 37.45% 升到 78.04%,换成无关问题的消息则回落到 36.40%

    该工作先审计了已有潜在通信接口:在五个方法-数据集组合中,把消息换成来自无关问题的消息,准确率变化最多 0.60 个百分点,即使通信本身比单独接收方高出 15.44 个百分点,说明增益可能来自接口适配而非消息内容;随后提出 Draft-KV,把共享方起草答案时形成的键值状态经线性投影放入侧记忆、由带门控的注意力分支读取,并以渐进式训练从消息重建过渡到答案监督、同时用单侧护栏限制错配消息的伤害,两个模型保持冻结、接口仅训练 1.05M 参数(比 C2C 少 348 倍);在 Qwen3-8B 共享方与冻结的 Qwen2.5-0.5B-Instruct 接收方组合下,MMLU-Redux 达到 78.04%,单独接收方为 37.45

已读完全部报道