论文部分内容阅读
近几年来,手势交互以其自然、直观的特点成为人机交互领域的一个研究热点。手势是人与人之间非语言交流的重要的方式之一,在人类的生活和学习中扮演了重要角色。手势作为人机交互系统的输入方式,可以通过各种各样的动作表达人的交互意图。与传统的通过键盘、鼠标的交互方式相比,通过手势进行交互摆脱了传统交互设备的束缚,使得人机交互向着更加自然、和谐的方向发展,因此,基于手势的交互具有重要的研究价值和应用价值。本文针对在基于手势交互过程中因手势识别错误或手势不识别导致交互界面变化与预期变化不一致的问题,提出了多种手势到同一语义的柔性映射交互模型。该模型使基于手势的交互更加流畅、自然、交互负荷更低。本文针对在交互过程中手势识别率不能满足目前交互需求的问题,提出了静态手势和轨迹手势的识别方法,提高了静态手势和轨迹手势识别率。本文内容与创新点如下:(1)提出了结合手势主方向的基于面积特征的静态手势识别方法本文通过Kinect获取手势的彩色图像,并将该图像处理为背景纯净的静态手势图像,然后结合手势主方向对静态手势图像进行处理获得静态手势的面积特征,很好的解决获取的手势图像大小不一和手势旋转角度不同两个问题,并有效的降低了手指间夹角不同等手势细节的不同对静态手势识别的影响。(2)提出了基于卷积神经网络的轨迹手势识别方法本文通过Kinect获取轨迹手势的轨迹点坐标,并选取一次曲线将轨迹点坐标拟合成轨迹曲线即将动态的轨迹手势转化为静态的轨迹图像进行识别。本文采用基于卷积神经网络的方法对轨迹手势进行识别,选取AlexNet网络模型作为轨迹识别的网络结构,建立了每种轨迹手势包含4500个样本集合,并对其进行训练和识别。该方法提高了轨迹手势识别率,并且该方法有着良好的实时性表现。(3)提出了多种手势到同一语义的柔性映射交互模型针对在基于手势交互过程中因手势识别错误或手势不识别导致交互界面变化与预期变化不一致的问题,本文提出了多种手势到同一语义的柔性映射交互模型,从认知基础方面论证了该柔性映射交互模型符合人类的一般行为习惯,定量分析了对应一种语义的多种交互手势的共同特征,并从可学习性、自然性、心智负荷和可操作性四个方面对该模型进行评价,总结得出了在基于手势的人机交互过程中因手势识别错误或手势不识别致使交互界面变化与预期变化不一致的解决思路。