跳到主要内容
检索

# 视觉词元缩减

1 篇关联报道

订阅更新
  1. arXiv

    电脑操作智能体不再逐帧吞下整屏:VTR联合训练路由器,视觉token少2.5至5.8倍仍保持全分辨率表现

    电脑操作智能体每张截图要编码成数千个视觉token,长任务和实时游戏里上下文迅速膨胀。VTR把视觉语言模型与一个轻量时空路由器联合训练,路由器查看当前与上一张截图中同一图像区域,决定该token是否进入语言模型,并用自适应损失在尽量少保留token与尽量不损失动作预测之间取舍。仅2000步训练后,VTR在OSWorld、CUA-World和电子游戏动作预测上匹配全分辨率模型,视觉token少2.5至5.8倍,推理成本最多降3.3倍,预填充最多快2.9倍。

已读完全部报道