跳到主要内容
检索

Yuetong Liu

1 篇关联报道

订阅更新
  1. arXiv

    工具输出不必再转成文字:Coca-Cola 把检索结果压成隐向量,网页搜索智能体省下七成以上 token

    网页搜索智能体每调用一次工具,返回的长文本都会原样追加进上下文,多步之后上下文迅速膨胀并稀释注意力。Coca-Cola 改把这些观察压成少量连续隐向量,直接嵌入智能体的输入嵌入空间,并用动作保持训练让压缩前后下一步动作分布对齐。在四个问答基准和两组模型上,总 token 消耗降低 70.01%–89.24%,端到端运行时间降低 24.45%–55.97%,EM 与 F1 在各设置下均高于未压缩智能体。

已读完全部报道