论文部分内容阅读
手势是一种直观方便的交流方式,通过对手势的识别可以实现自然舒适的人机交互。因此基于手势的交互技术是人机交互领域的重要研究内容。手势交互技术可以用于虚拟现实环境,对虚拟物体的操控。还可以运用在智能家电以及相应的自动控制领域,同时还可以方便儿童、老人和聋哑人的生活和教育。由于人体手部的复杂构造使得手势具有多样性,手势识别依旧是一个研究难点。目前主要的识别途径可以分为基于视觉的手势识别以及基于表面肌电信号和加速计的手势识别方式。基于视觉的手势识别利用摄像头对手势动作实施非接触式捕获,是一种较为自然的交互方式。但是容易受到于视角,背景等因素的影响。基于表面肌电信号和加速计的手势识别不受外部环境的影响,具有较好的鲁棒性,但是该方法的分类准确度受到个体差异等因素的影响。本文首先通过对视觉信号提取来实现基于视觉的手势识别。并在此基础之上,通过将表面肌电信号和加速计信号与视觉信号相结合,初步探索多传感器融合下的手势识别。本文的主要研究内容和研究成果如下:1.通过基于边界的指尖定位算法来对指尖进行检测定位。指尖检测是手势特征提取和分类的重要步骤,通过指尖可以描述手势单个手指的个数以及手指的轨迹,为后续的手势识别提供重要信息。2.采用改进型形状上下文描述子对手势轮廓做出详细描述。改进型形状上下文描述子采用基于手势轮廓重心的投影方法,减少投影之后的计算量,并且避免了轮廓点采样而带来的影响。采用有向无环图支持向量机作为分类器进行分类。最后,基于改进型形状上下文描述子的字母手势识别得到了较好的效果。3.将视觉信号和表面肌电信号以及加速计信号相结合,通过多传感器融合来实现手势识别。在融合过程中,通过肌电活动段来实现视频信号和加速计信号的分割。利用静态视觉特征来和表面肌电信号特征来描述手势的姿态,采用动态手势特征和加速计信号特征来描述动态手势轨迹,并且采用决策级融合来判别最终的手势类别。通过实验表明,多传感器融合能够提升总体识别率,得到较好的效果。