# 计算机使用智能体

电脑操作智能体每张截图要编码成数千个视觉token，长任务和实时游戏里上下文迅速膨胀。VTR把视觉语言模型与一个轻量时空路由器联合训练，路由器查看当前与上一张截图中同一图像区域，决定该token是否进入语言模型，并用自适应损失在尽量少保留token与尽量不损失动作预测之间取舍。仅2000步训练后，VTR在OSWorld、CUA-World和电子游戏动作预测上匹配全分辨率模型，视觉token少2.5至5.8倍，推理成本最多降3.3倍，预填充最多快2.9倍。

电脑操作智能体每张截图要编码成数千个视觉token，长任务和实时游戏里上下文迅速膨胀。VTR把视觉语言模型与一个轻量时空路由器联合训练，路由器查看当前与上一张截图中同一图像区域，决定该token是否进入语言模型，并用自适应损失在尽量少保留token与尽量不损失动作预测之间取舍。仅2000步训练后，VTR在OSWorld、CUA-World和电子游戏动作预测上匹配全分辨率模型，视觉token少2.5至5.8倍，推理成本最多降3.3倍，预填充最多快2.9倍。

直接操作图形界面的计算机使用智能体要在运行时按网页内容分支，攻击者便可构造不可信数据，把智能体逼进一条预先批准却危险的路径，而不必写入任何显式指令。STEER-Bench用9个领域的101个任务测这类分支转向攻击，标准智能体攻击成功率为94.4%，原版Dual-LLM架构为89.5%。COBRA把可信分支计划与事先设定的能力约束配对，严格限定每条分支可执行的参数与目标，在把攻击成功率降到0%的同时保留97%的正常用途。

直接操作图形界面的计算机使用智能体要在运行时按网页内容分支，攻击者便可构造不可信数据，把智能体逼进一条预先批准却危险的路径，而不必写入任何显式指令。STEER-Bench用9个领域的101个任务测这类分支转向攻击，标准智能体攻击成功率为94.4%，原版Dual-LLM架构为89.5%。COBRA把可信分支计划与事先设定的能力约束配对，严格限定每条分支可执行的参数与目标，在把攻击成功率降到0%的同时保留97%的正常用途。