跳到主要内容
检索

# 手语生成

1 篇关联报道

订阅更新
  1. arXiv

    手语生成拆成两步:SRVQ先定“打什么”,检索R@1在CSL-Daily升到82.31

    手语生成要把书面句子变成连续打手语动作,既要决定表达哪些词,又要还原手形、轨迹和身体配合。此前的姿态生成系统和只做重建的动作分词器把这两件事混在同一套表示里,生成器缺少一个与文本对齐的中间目标。SRVQ用单个残差量化器搭出层级:第一层码本在文本与注释级监督下编码手语内容,后续残差层补足运动细节,再由语义生成器和运动学生成器依次预测。在CSL-Daily与Phoenix-2014T上,完整变体的检索R@1分别为82.31和70.25,比SOKE的51.96和24.14高出30.35和46.11个百分点。

已读完全部报道