论文部分内容阅读
随着人工智能、物联网、5G和云计算等新兴信息技术的蓬勃发展，人机交互（Human Computer Interaction，HCI）逐渐智能化、多样化。手势以其信息表达能力和传递功能强、简单易懂、非接触等特点，在机器人控制、虚拟现实（Virtual Reality，VR）、智能驾驶和手持云台等现实生活中得到了广泛的应用。然而，手势识别也存在一些如手势类别之间相似度高、手指之间存在自遮挡等问题，导致手势识别准确率不高。同时，基于卷积神经网络（Convolutional Neural Network，CNN）的手势识别算法参数量大，对计算机硬件要求较高，难以应用于资源有限的移动和嵌入式设备。因此，手势识别方法的研究具有重要的意义和实际应用价值。
本文以卷积神经网络为理论依据，采用轻量型（Lightweight）的卷积神经网络模型，通过合理设计网络的结构和参数，在降低模型复杂度的同时，提高了手势识别的准确率。
论文完成的主要研究工作与创新点如下：
1、设计出了一种具有加权损失函数的双通道特征融合手势识别网络（WDN）
针对目前手势识别存在的准确率不高和模型参数量大等问题，本文设计出了一种具有加权损失函数的双通道特征融合手势识别网络。首先，该网络是一种并行双通道结构，将两个并行的子网络学习到的手势图像局部特征进行融合，可以获得更丰富的手势特征信息。接着，为了平衡两个通道学习到的局部特征的权重，在训练过程中使用加权损失函数，有利于获得更好的手势识别准确率。然后，为了降低模型参数量，网络最后一层使用卷积层代替全连接层进行分类。实验结果表明，本文设计的加权损失函数的双通道特征融合手势识别网络有效提升了手势识别准确率，且模型参数量更少。
2、提出了一种具有注意力机制和残差连接方式的双通道特征融合手势识别网络（ARDN）
为了进一步提高手势识别的准确率并减少模型的参数量，将残差连接方式、注意力机制和深度可分离卷积技术引入双通道网络。首先，残差连接方式利用残差和图像分解知识，可以更为准确地学习手势特征信息。然后，引入注意力机制自动获取手势图像特征图中每个通道的重要性，并根据重要程度增强有用特征、抑制无用特征，从而实现了特征通道的自适应加权。最后，使用深度可分离卷积代替普通卷积可以大大减少模型的参数量。实验结果表明，本文提出的注意力机制和残差连接方式的双通道特征融合手势识别网络进一步提高了手势识别准确率，减少了模型的参数量。
本文以卷积神经网络为理论依据，采用轻量型（Lightweight）的卷积神经网络模型，通过合理设计网络的结构和参数，在降低模型复杂度的同时，提高了手势识别的准确率。
论文完成的主要研究工作与创新点如下：
1、设计出了一种具有加权损失函数的双通道特征融合手势识别网络（WDN）
针对目前手势识别存在的准确率不高和模型参数量大等问题，本文设计出了一种具有加权损失函数的双通道特征融合手势识别网络。首先，该网络是一种并行双通道结构，将两个并行的子网络学习到的手势图像局部特征进行融合，可以获得更丰富的手势特征信息。接着，为了平衡两个通道学习到的局部特征的权重，在训练过程中使用加权损失函数，有利于获得更好的手势识别准确率。然后，为了降低模型参数量，网络最后一层使用卷积层代替全连接层进行分类。实验结果表明，本文设计的加权损失函数的双通道特征融合手势识别网络有效提升了手势识别准确率，且模型参数量更少。
2、提出了一种具有注意力机制和残差连接方式的双通道特征融合手势识别网络（ARDN）
为了进一步提高手势识别的准确率并减少模型的参数量，将残差连接方式、注意力机制和深度可分离卷积技术引入双通道网络。首先，残差连接方式利用残差和图像分解知识，可以更为准确地学习手势特征信息。然后，引入注意力机制自动获取手势图像特征图中每个通道的重要性，并根据重要程度增强有用特征、抑制无用特征，从而实现了特征通道的自适应加权。最后，使用深度可分离卷积代替普通卷积可以大大减少模型的参数量。实验结果表明，本文提出的注意力机制和残差连接方式的双通道特征融合手势识别网络进一步提高了手势识别准确率，减少了模型的参数量。