基于深度学习的手势分割和识别方法研究

• 作 者: 刘亚玲
• 出 处: 长安大学
• 发表日期: 2019年01期
• 关键词: 深度学习 全卷积网络 残差网络 手势分割 手势识别

随着信息技术的飞速发展,人机交互成为人们日常生活中的一个重要组成部分。在智能家居、医疗教育、虚拟现实等方面得到广泛的应用。由于手势具有自然、直接等优势,手势交互已经成为人机交互领域的一大研究热点。因为受到光照、复杂背景及手型变化等因素影响,手势分割和手势识别依然是手势交互的主要研究内容。近年来,深度学习在计算机视觉的巨大成功给手势交互带来了新的研究思路和方法。本文对基于视觉的手势交互进行了较为深入的研究,提出了一种新的基于深度学习的手势分割和识别算法,实现了准确、快速的手势识别。本文主要工作包括以下几个方面:1.针对复杂场景下的手势分割,将全卷积网络(Fully Convolutional Networks,FCN)引入手势分割领域,并构建了基于VGG-16的FCN分割模型。首先将VGG-16的全连接层替换为卷积层,并增加上采样层,然后使用跳跃结构来提取细节信息,最后在OUHANDS数据集上对该算法进行验证。实验结果表明,本文提出的FCN分割模型对光照、复杂背景及面部遮挡具有良好的鲁棒性。2.针对FCN分割算法存在的边缘细节丢失、分割速度慢等问题,提出了一种基于全卷积残差网络(Fully Convolutional Residual Network,本文简称FCR-Net)的手势分割算法。借鉴FCN去掉全连接层的思想,算法将ResNet作为基础网络,并加入空洞空间金字塔池化模块实现融合上下文和多尺度信息的手势分割。在OUHANDS数据集上对该算法进行验证,实验结果表明,该算法在保证分割速度的同时,更好的保留了手势细节信息,将平均准确率提高到了91.45%。3.通过对各分类网络进行简要分析,搭建了用于手势识别的深度卷积神经网络(Deep Convolutional Neural Network,DCNN)模型,该模型具有参数少,计算量小的特点。为了提升手势识别性能,在模型中加入了批归一化层和全局均值池化层。使用本文手势分割图片对该模型进行验证,实验结果表明,本文的手势识别算法识别精度高、识别速度快,为实现实时的手势识别提供了一种较好的策略。