使用LSTM对2D pose sequence进行行为分类

概要

使用长短期记忆网络（LSTM）对二维姿态序列进行人体行为分类的过程通常包括以下几个步骤。首先，通过姿态估计算法获取视频或图像序列中的关键点数据，形成时间上的二维坐标序列。接着，对这些序列数据进行预处理，如归一化、平滑和补齐缺失帧，以确保数据的一致性和完整性。然后，将处理后的二维姿态序列输入到LSTM网络中，利用其强大的时间依赖建模能力捕捉动作中的时序特征。网络通过多个LSTM层提取深层次的时序信息，并最终连接一个全连接层或分类层来输出对应的行为类别。最后，通过反向传播和优化算法对模型进行训练和调优，以提高分类的准确性和鲁棒性。整体而言，LSTM在处理和理解动态人体姿态变化方面具有显著优势，适用于复杂的人体行为识别任务。

数据解析

该数据集由 12 名受试者组成，重复 5 次，从 4 个角度拍摄，每个角度重复 5 次，执行以下 6 个动作。

JUMPING,
JUMPING_JACKS,
BOXING,
WAVING_2HANDS,
WAVING_1HAND,
CLAPPING_HANDS.

LSTM 的输入是 18 个关节在帧编号时间序列（n_steps （window-width））