论文部分内容阅读
手势识别技术作为人机交互领域内的关键技术之一，因其便捷、自然的交互方式有着广阔的应用前景，也因此成为各国学者的研究热点。传统手势识别技术通常借助外部穿戴设备，限制了用户活动自由，逐渐被基于计算机视觉的手势识别技术取代。而基于计算机视觉的手势识别方法易受光照变化、环境背景的影响，有一定的局限性。深度采集设备Kinect的出现为这一缺陷提供了解决方案。因此，本文基于Kinect设备采集的深度图像与彩色图像，提出了一种新的动态手势识别方法，主要工作包括:
(1)提出了一种基于时空域数据融合的深度图像修复算法。针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题，首先对深度图像时空域上的数据进行预处理;然后引入时空域置信度，并由此为时空数据分配权值进行数据融合，实现单个像素点的修复，迭代修复直至图像修复完成。最后通过对比实验验证了该算法的有效性。
(2)提出了一种轨迹特征融合双流模型的动态手势识别方法。针对现有动态手势识别任务准确率受环境影响较大、鲁棒性不强等问题，结合动态手势特征，从深度图中提取出动态手势的轨迹曲线图与手型变化序列图，利用双流网络模型实现了动态手势有效准确的识别。并在重新构建的SKIG数据集上验证了方法的鲁棒性与优越性。
(3)设计完成了应用测试。为验证本文方法的实现效果与响应延迟时间，设计动态手势控制指令的总体流程，结合SKIG数据集的手势类型设计指令，利用Unity3D搭建虚拟场景，将本文手势识别算法应用到虚拟场景中人物角色的行为控制与摄像机、特效的控制，通过对比实验验证算法在实际应用中的性能与可行性。
本文的动态手势识别算法满足了人机交互自然、便捷的要求，并且成本低、不易受光照、环境等影响，在SKIG数据集上的平均识别率达到了99.46％，同时能较快的识别出动态手势。
(1)提出了一种基于时空域数据融合的深度图像修复算法。针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题，首先对深度图像时空域上的数据进行预处理;然后引入时空域置信度，并由此为时空数据分配权值进行数据融合，实现单个像素点的修复，迭代修复直至图像修复完成。最后通过对比实验验证了该算法的有效性。
(2)提出了一种轨迹特征融合双流模型的动态手势识别方法。针对现有动态手势识别任务准确率受环境影响较大、鲁棒性不强等问题，结合动态手势特征，从深度图中提取出动态手势的轨迹曲线图与手型变化序列图，利用双流网络模型实现了动态手势有效准确的识别。并在重新构建的SKIG数据集上验证了方法的鲁棒性与优越性。
(3)设计完成了应用测试。为验证本文方法的实现效果与响应延迟时间，设计动态手势控制指令的总体流程，结合SKIG数据集的手势类型设计指令，利用Unity3D搭建虚拟场景，将本文手势识别算法应用到虚拟场景中人物角色的行为控制与摄像机、特效的控制，通过对比实验验证算法在实际应用中的性能与可行性。
本文的动态手势识别算法满足了人机交互自然、便捷的要求，并且成本低、不易受光照、环境等影响，在SKIG数据集上的平均识别率达到了99.46％，同时能较快的识别出动态手势。