跳到主要内容
返回时间线
arXiv来源发表:

事件相机动作识别不再只看单帧:把长序列切成多帧,THU-EACT-50 CHL 上准确率从30.5%升到78.7%

核心概要

瑞典国防研究局把事件流切成多帧再预训练,长时复杂动作识别在THU-EACT-50 CHL上达到78.7%、DailyDVS-200上达到66.9%,且只用事件数据。

Source-provided article image: Event-based Action Recognition by Pre-Training on Multi-Frame Representations
arXiv

深度剖析

事件相机动作识别改用多帧表示后,长时复杂动作的判别力明显提升,单帧表示在长序列上会迅速失效。 此前常用的Event Histogram、Time Images和CSTR等单帧表示对短事件序列有效,但序列变长、动作变复杂后性能下降。 在THU-EACT-50 CHL上,CSTR从单帧的30.5%升到多帧的47.4%,Event Histogram从24.1%升到47.1%。

事件流被切成多个不重叠时间段,每段各自算出一张帧式表示并单独切块,再按事件活跃度挑出信息量大的块送进模型。 多帧会放大事件数据本身的稀疏性并增加输入块数量,直接堆帧会让计算量难以承受。 在THU-EACT-50 CHL上,单帧时把块预算减半反而把准确率从29.4%提到46.5%,两帧时保留一半块同样最好。

预训练用稀疏感知掩码,按活跃度分数提高高活跃块被保留为可见上下文的概率,解码器还用多个位置相关的掩码标记。 标准随机掩码不看块内容,在75%掩码率下解码器拿到的上下文可能几乎为空,帧数越多这种风险越大。 在THU-EACT-50 CHL的线性探测中,稀疏感知掩码在CSTR和Event Histogram上各再提升约4个百分点,多个掩码标记在两种表示上都优于单个。

启示与展望

这套方法面向长时、复杂的事件相机动作识别,在THU-EACT-50 CHL和DailyDVS-200上以线性探测和微调评估,预训练与评估默认在同一数据集上进行,也报告了先在DailyDVS-200预训练再在THU-EACT-50 CHL微调的迁移设置。读者若关心短序列或其它事件表示,可先看多帧切分与活跃度选块是否同样带来增益。

掩码标记的最优数量并未在所有实验中找到统一值,性能随稀疏偏置参数和所用事件表示变化,作者认为需要更多研究才能给出更通用的建议。从四帧增到八帧时,短动作sneeze略有提升而长动作tie shoe laces略有下降,说明时间分辨率的作用可能因动作时长而异。