跳到主要内容
返回时间线
researchsquare.com来源发表:

舞蹈评分不再只看动作类别:学员与示范逐相位对齐,专家/中级/初级排序准确率到81.2%

核心概要

自动舞蹈动作质量评估此前多沿用动作识别思路,只判断跳的是哪支舞,难以区分同一支舞里执行好坏。RSDQ-Net把目标动作与参考示范统一到19节点骨架,用可学习的相位对齐建立软对应,再把空间执行偏差与时间相位偏差分开建模,并用序数标签与人对比较统一约束一个潜在质量变量。在ImperialDance的编舞不重叠五折协议下,其QWK为0.814、序数MAE为0.207,优于最强基线2T-GCN的0.755与0.261。

Source-provided article image: Automatic dance movement quality assessment via spatiotemporal skeletal representation learning
Figure 1 · researchsquare.com · 第 5 页

深度剖析

舞蹈动作质量评估被当作参考条件下的执行偏差比较,而不是动作类别识别。同一支舞的两位表演者可能完成相同编排,却在身体对齐、关节轨迹、时机与协调上不同;识别模型倾向于压制类内差异,评估模型必须保留并解释这些差异。 此前的骨架方法主要回答“做的是哪个动作”,参考比较则常用关节角差、轨迹距离或动态时间规整等固定对齐,其对应关系不参与下游质量监督,时间规整还可能抹掉有意义的时机错误。 在ImperialDance的编舞不重叠五折协议、25次折-种子评估下,RSDQ-Net取得81.2%准确率、0.814的QWK与0.207的序数MAE;最强基线2T-GCN为76.7%、0.755与0.261,配对Wilcoxon检验经Holm校正后QWK的p=0.004、序数MAE的p=0.006。

目标动作与参考示范先被映射到同一套19节点规范骨架,再由共享编码器提取关系感知的时空表示。 三个数据集的原始骨架并不一致:AIST++是SMPL三维动作,ImperialDance是21节点动捕,CDRG-UNIMAS-TIKTOK只有RGB视频,需要先重建为三维人体动作。 规范拓扑保留躯干与双侧肢体,节点特征由归一化位置、时间位移、解剖骨向量与观测置信度组成;序列统一重采样到30 Hz但保留可变长度,并用有效性掩码排除填充帧。

对齐不是把参考序列硬性拉伸到目标帧上,而是在学习到的运动空间里估计软对应,并把相位位移本身留作质量证据。 固定对齐与动态时间规整把对应关系当作独立预处理,无法按下游质量目标联合优化。 对齐权重由查询-键相似度减去一个相位位移项得到,该位移项是目标归一化相位与参考归一化相位之差的绝对值,其强度由softplus约束为非负并与网络联合学习;消融中移除参考对齐使QWK降到0.724、成对准确率降到74.9%,用DTW替换只恢复到0.758与77.2%。

空间执行偏差与时间相位偏差被分开表示,再与序数专家等级和人对偏好共同约束同一个潜在质量变量。 两类监督的标注形式不同,不能假定共享连续评分尺度,直接赋数值会引入无依据假设。 ImperialDance用两个有序阈值建模初级<中级<专家,CDRG用校准后潜在质量之差预测成对偏好;在CDRG受试者不重叠五折协议下,成对准确率为81.4%、Kendall τb为0.638,最强基线CTR-GCN + RankNet为76.8%与0.566。

启示与展望

评估覆盖AIST++的舞蹈类型识别、ImperialDance的编舞不重叠序数质量评估,以及CDRG-UNIMAS-TIKTOK的受试者不重叠成对排序;ImperialDance以对应编舞的专家示范作为参考,测试编舞未参与参数学习但其专家示范在评估时可用,因此属于未见编舞的参考引导评估。CDRG的参考只从训练受试者中选取并在该折固定。模型含384万参数、每样本21.2 GFLOPs、推理8.1毫秒、峰值显存618 MB,适合离线评估与交互式辅助训练。

三个数据集在舞种、采集环境、骨架来源与标注形式上差异较大,规范表示与共享质量公式只减少部分异质性,更广舞种、录制条件与表演者人群的验证仍待补充。CDRG的三维骨架由单目RGB视频重建,重建误差、遮挡与视角歧义可能影响偏差表示。数据集不提供帧级或关节级专家标注,定性可视化呈现的是模型学到的偏差响应,而非经过验证的专家错误定位。潜在质量变量表示相对排序而非绝对专业分数,在需要标准化数值评分的场景中解释受限。