手语生成拆成两步：SRVQ先定“打什么”，检索R@1在CSL-Daily升到82.31
核心概要
手语生成要把书面句子变成连续打手语动作，既要决定表达哪些词，又要还原手形、轨迹和身体配合。此前的姿态生成系统和只做重建的动作分词器把这两件事混在同一套表示里，生成器缺少一个与文本对齐的中间目标。SRVQ用单个残差量化器搭出层级：第一层码本在文本与注释级监督下编码手语内容，后续残差层补足运动细节，再由语义生成器和运动学生成器依次预测。在CSL-Daily与Phoenix-2014T上，完整变体的检索R@1分别为82.31和70.25，比SOKE的51.96和24.14高出30.35和46.11个百分点。
深度剖析
手语生成被拆成“先定语义、再补运动”两级：最粗一层离散码负责表达哪些手语内容，后续残差层负责手形、轨迹与身体协调。 此前的姿态生成系统和只做重建的动作分词器把语义选择与动作实现放在同一套表示里学习，生成器没有显式的、与文本对齐的中间目标。 在CSL-Daily与Phoenix-2014T上，同时预测语义码与残差码的完整变体检索R@1为82.31和70.25，而SOKE为51.96和24.14，分别高出30.35和46.11个百分点。
语义与运动细节共用同一个残差量化器，不需要单独的语义表示或额外的规划阶段。 此前的做法依赖单独的语义空间、分阶段训练或额外码本，难以与重建目标协调。 量化器对躯干、左手、右手三路分别编码，使用6个量化层级、码维度512；第一层码本用文本对比损失和帧级注释裁剪片段监督，其余层只承担重建与速度平滑损失。
生成阶段用词级条件：语义生成器先预测第一层语义码，运动学生成器再补齐残差码，两者都以词元嵌入加全局句向量的表示做交叉注意力。 以往系统多以池化句向量或少量全局文本令牌作为条件，词与手语片段之间的局部对应容易被压掉。 在完整流程的对照中，同时使用全局句向量与词元条件时，CSL-Daily与Phoenix-2014T的R@1为82.31和70.25；只用全局句向量时为75.34和41.28。
启示与展望
演示范围限于CSL-Daily（中文手语，18K训练句、1176测试句）与Phoenix-2014T（德国手语，7K训练句、642测试句）两个基准，动作采用133维SMPL-X参数、25帧每秒采样；量化器训练需要高质量SMPL-X动作标注和帧级注释，推理阶段不需要注释。
语义检索提升主要来自显式语义建模，完整变体在多数几何指标上不如只解码语义码的变体；注释跨度偏移4帧或20%注释丢弃会改变CSL-Daily的R@1，而Phoenix-2014T的R@1基本不变；作者把跨语言设置、非手动标记建模和聋人参与者人工评测列为后续工作。