电脑操作智能体不再逐帧吞下整屏：VTR联合训练路由器，视觉token少2.5至5.8倍仍保持全分辨率表现
核心概要
电脑操作智能体每张截图要编码成数千个视觉token，长任务和实时游戏里上下文迅速膨胀。VTR把视觉语言模型与一个轻量时空路由器联合训练，路由器查看当前与上一张截图中同一图像区域，决定该token是否进入语言模型，并用自适应损失在尽量少保留token与尽量不损失动作预测之间取舍。仅2000步训练后，VTR在OSWorld、CUA-World和电子游戏动作预测上匹配全分辨率模型，视觉token少2.5至5.8倍，推理成本最多降3.3倍，预填充最多快2.9倍。
深度剖析
电脑操作智能体可以只处理它真正需要的视觉token，而不必把每张截图的上千个token全部送进语言模型。 此前的做法要么保留注意力最高的固定比例token，要么按固定阈值丢弃跨帧未变化的token，保留多少与智能体下一步动作无关。 在OSWorld上VTR得分18.1，H.264规则为9.4，像素差分规则为5.3；与把图像面积降到一半的稠密模型相比，VTR在OSWorld上高2.9分且用的token更少。
路由器根据当前与上一张截图中同一图像区域判断是否保留，被丢弃的token直接从输入序列移除。 路由器是一个三层MLP，参数量2330万，约为语言模型的1%；它把同一位置的视觉token拼接后输出保留概率，保留的token按该概率缩放，从而在离散门控下仍能获得梯度。 训练用CUA-World训练集的4265条电脑操作样本和markov-ai/gaming-500-hours的29401条游戏样本，按1:3混合，基础模型为Qwen3.5-2B，每10个观测设一个完整保留的锚点。
保留多少token由路由器按输入自行决定，而不是预先设定固定预算。 训练把目标写成约束优化：最小化保留比例，同时限制模型相对“只看锚点”的参考模型所损失的精度不超过全历史带来增益的10%，权重用对偶上升在训练中调整。 同一路由器在OSWorld上保留约40%的token，在电子游戏中只保留17%；按画面变化分组，低运动游戏保留2.7%，高运动游戏保留5.9%，桌面任务保留26.3%。
启示与展望
演示范围是Qwen3.5-2B在CUA-World训练轨迹与游戏录制上联合训练2000步，并在OSWorld的295个无需联网任务、CUA-World的512个任务和36款游戏的约9万个留出动作上评测；推理成本按每百万输入、缓存输入和输出token计价，预填充时间在单张NVIDIA L40S上用vLLM测量。
材料报告VTR与全分辨率稠密模型在OSWorld和CUA-World上的差异很小且统计上不显著；成本与预填充的收益小于视觉token的减少幅度，因为指令、历史动作和生成动作仍然保留；路由器在静态区域也会保留少量孤立区域，材料将其归因于门控按保留概率采样。