论文部分内容阅读
人体行为识别在智能视频监控、客户类型、购物行为分析等现实生活中有着广泛的应用需求,然而由于杂乱的背景、遮挡和视点变化等因素的影响,准确的识别、分析现实场景中人体的行为仍然是一个具有挑战性的问题,所以开发出一套先进的行为识别算法就有着至关重要的作用。传统的行为识别方法主要由两步组成,第一步是提取视频图像的特征,第二步利用学习的分类器对特征进行分类。在真实场景中,不同的行为在外观和运动模式上有明显的不同,因此很难选择合适的特征,而深度学习模型可以通过样本学习特征,从而具有比传统行为识别方法更好的优势。本文就是在深度学习理论的基础上,提出了一种基于3D卷积神经网络的人体行为识别方法。主要由以下部分组成:首先,本文构建了一种3D卷积神经网络模型(C3D)、训练并提取C3D卷积神经网络特征;其次,在C3D卷积神经网络的基础上构建基于运动轨迹的3D卷积神经网络(TC3D)、训练并提取TC3D卷积神经网络特征;然后,把视频的光流图像送入VGG16网络模型中提取时域特征;最后,把C3D卷积神经网络特征与时域特征进行融合,送入SVM进行类别划分,最后对实验结果测试、分析以及展望。本文在UCF101数据集上进行了测试,未使用预训练模型时,C3D网络模型准确识别率为43.171%,TC3D网络模型准确识别率为38.92%,降低了 4.251%;使用预训练模型C3D网络模型准确识别率为79.1551%,VGG16网络模型准确识别率为68.5961%,而将C3D特征与时域串行特征融合准确识别率为88.5547%,相较于C3D提高了 9.3996%,加权融合准确识别率为87.1545%,相较于C3D提高了 7.9994。结果表明,TC3D不能更好的学习行为特征,而C3D特征与时域特征的融合能提高准确识别率,有较好的鲁棒性。