云游戏不再整帧同码率：按兴趣给关键物体留清晰度，5G下QoE至少高两成
核心概要
云游戏传输把码率决策从整块视频下放到单个游戏物体：先用现成语义分割模型把每帧拆成物体，再由深度强化学习智能体结合玩家在游戏内的移动速度、物体语义与运动特征以及当前网络状况，判断哪些物体是玩家真正关注的，并给它们分配更高分辨率、给其余物体降分辨率以省带宽。在5G、4G和WiFi三种无线场景的仿真中，该方案在自建QoE指标上优于现有ABR算法，5G场景下归一化平均QoE至少高出20%；34人主观评测中平均意见分为4.16，高于Pensieve的2.49、T-Gaming的3.74和MetaABR的2.86。
深度剖析
云游戏的码率分配粒度从整块视频或整帧缩小到单个游戏物体，同一帧内不同物体可以拿到不同分辨率。 此前的自适应码率方案以持续数秒的视频块为单位调整，一帧内所有物体共用同一码率，玩家只关注车辆、障碍物、敌人等少数物体时，其余区域仍占用带宽。 在5G、4G和WiFi三种无线场景的仿真中，该方案在自建QoE指标上优于BBA、BOLA、RobustMPC、Pensieve、DeepGame、T-Gaming和MetaABR等对照方案，5G场景下归一化平均QoE至少高出20%。
关键物体的判定不依赖眼动仪等额外硬件，而是由玩家在游戏内的移动速度、物体语义标签、像素面积、运动速度和物体之间的潜在关系共同推断。 已有做法要么用眼动追踪硬件直接测量注视位置，要么按颜色、对比度、显著性等预设规则圈定感兴趣区域，无法随玩法场景变化。 在GTA V收集的约500段游戏片段、1500余张图像上，由五名标注者独立标注关键物体并做多标注聚合，该方案在10次评测中的关键物体识别平均准确率为90.58%。
码率决策以非阻塞方式运行，决策生成后持续作用于后续帧，渲染与推流管线不等待物体识别或策略推理完成。 逐帧运行分割与策略推理会挤占端到端时延预算，而云游戏对时延的要求比普通视频流严格得多。 在RTX 4090上，语义分割模型平均推理约90毫秒，强化学习模型仅0.96毫秒，均远小于250毫秒的决策间隔；在完整集成的云游戏平台中，物体识别可改为直接从游戏引擎渲染管线读取物体元数据。
启示与展望
该方案面向从云服务器向手机、平板等瘦客户端传输游戏画面的无线云游戏场景，决策在服务器侧完成，客户端不需要眼动仪等额外硬件。评测覆盖5G、4G和WiFi三种仿真无线场景，以及GTA V、Cyberpunk 2077、Spider-Man 2、The Witcher 3、Black Myth: Wukong和CS:GO等游戏片段。方案通过ROI接口把分辨率决策映射为量化参数图交给标准编码器，不需要改动编解码标准。后续计划在视觉风格和交互动态更多样的云游戏上继续评测，并在实时云游戏平台上做完整交互实现。
训练数据主要来自GTA V这类开放世界场景，学到的物体重要性模式未必直接适用于关键物体差异明显的游戏类型，例如体育游戏中注意力集中在球上，可能需要补充数据并微调模型。主观用户研究基于处理后的游戏片段，用于隔离物体级码率分配和更新频率的感知影响，尚未在实时云游戏系统上做部署级验证。物体更新频率从4赫兹提高到8赫兹时，平均意见分仅从4.05升到4.17，差异不具统计显著性，因此4赫兹被选为默认设置。