步态属性识别不再只靠分类权重:15类属性配上24万段行走序列,预训练编码器还能直接换进身份识别流程
核心概要
步态属性识别有了一个大规模多模态基准:RA-GAR 收录 1001 名受试者、242729 段行走序列,并标注 15 项静态与运动步态属性,用来补上细粒度标注不足的缺口。配套的 Gait-VL 不再用分类器输出权重代表候选类别,而是把属性专属的多帧视觉证据与文本类别原型直接匹配。在 RA-GAR 上属性识别达到当前最好水平,且用属性预训练替换通用上游视觉模型后,多个身份识别流程与基准上出现一致提升。
深度剖析
步态属性识别现在有了一个带细粒度标注的大规模多模态基准,覆盖 1001 名受试者和 242729 段行走序列,标注 15 项静态与运动步态属性。 此前的基准只提供有限的细粒度标注,属性识别缺少足够监督。 该基准以受试者数、行走序列数和属性类别数给出规模,属性识别实验在其上报告了当前最好性能。
识别方式从分类器权重比对改为视觉证据与文本类别原型的直接匹配。 此前的分类器式方法用学到的输出权重表示候选类别,而不是把视觉证据与文本类别表示直接对齐。 Gait-VL 在 RA-GAR 上取得当前最好的属性识别结果。
属性预训练得到的视觉编码器可以替换身份识别流程中的通用上游大视觉模型。 属性预训练不使用身份分类或度量学习目标,因此这一替换检验的是属性表征本身的迁移能力。 在多个身份识别流程与基准上,替换后出现一致的性能提升。
启示与展望
该工作面向步态属性识别与身份识别的研究与工程场景:RA-GAR 提供 1001 名受试者、242729 段行走序列和 15 项静态与运动步态属性的标注,Gait-VL 在这些标注上做属性识别。迁移性结论限于把属性预训练视觉编码器替换进身份识别流程这一用法,并在多个流程与基准上验证。
属性预训练不使用身份分类或度量学习目标,因此其迁移收益来自属性表征本身;材料以摘要形式给出,属性识别与下游身份识别的具体数值、流程配置和基准名称未在可见范围内展开。
