论文部分内容阅读
人体动作识别对于理解行为者的语义表达,意图推断至关重要。随着Microsoft Kinect,Intel RealSense等视觉传感器的发展,如何有效建模人体骨架,提取人体动作判别性特征,提高动作识别准确率是亟须解决的研究问题。本文研究基于时空图卷积神经网络的人体动作识别,通过构建人体骨架结构时空图,提取人体动作时空特征,提高了不同场景下的时空图卷积方法模型性能,同时搭建了基于时空图卷积神经网络的人体动作识别系统。论文工作内容如下:1.针对人体动作识别中骨架动作与关节共现等问题构建时空共现图卷积神经网络,结合手动分配人体骨架子部位,构建骨骼与关节点间自然铰接式拓扑子图,聚合节点级和图级共现特征,以利用时空图卷积神经网络和关节共现特征对骨架序列的空间配置和时间动态建模,有效学习人体动作判别性特征。2.针对人体关节和骨骼间的运动学相关性及原始骨架拓扑图存在的人体动作表示缺陷问题,将人体骨架表示为有向图,提出自适应时空有向人体骨架拓扑图,提取根节点与向心、离心关节点群沿骨骼传播的动作信息,显式地融合骨骼信息进行建模以增强动作识别能力。3.针对人体动作数据因视点差异导致相同动作骨骼数据差异较大问题,构建基于自适应视点的有向时空图卷积和长短期记忆网络组合模型,捕获最佳视点下基于骨骼边特征信息的骨架关节空间位置表示与时间动态变化等特征。在NTU RGB+D数据集上识别精度达89.33%(Cross Subject,CS)和94.27%(Cross View,CV),SYSU-3D Human-Object Interaction数据集上识别精度达86.18%(setting-1)和87.61%(setting-2),SBU Kinect Interaction数据集上识别精度达97.64%,MSR Daily Activity 3D数据集上识别精度达97.23%。4.设计并实现基于时空图卷积神经网络构建人体动作识别系统,该系统通过OpenPose、OpenCV等数据采集平台,基于python、Tensorflow等开发工具和科学运算架构实现。功能模块包括数据采集、姿态估计、行人跟踪、动作识别等,分别实现了图片、视频等视觉数据的采集和处理,单人、多人的人体骨架节点提取,姿态跟踪以及人体骨架动作识别。在实际场景中该系统能够实现实时人体姿态估计、跟踪以及动作识别,验证了本文提出的人体动作识别方法。