论文部分内容阅读
聋哑人是社会的重要组成人群,手语是他们进行交流的工具。随着计算机和网络技术的迅速发展,手语自动识别技术也成为近年来的研究热点之一。手语识别可以帮助聋哑人更好的生活,应用前景广泛,并且具有很高的学术研究价值。常见的手语识别技术分为基于数据手套和基于视觉两种方法,基于视觉的手语识别技术更符合“和谐人机交互”的理念,是未来的发展方向。本文在国内外研究现状的基础上,提出一种对徒手手语手势进行检测、跟踪、识别的方法。具体而言,本文主要研究工作如下。提出一种手掌手势检测算法：制作和选取200张手掌手势正样本图像、1000张负样本图像,利用Haar特征和Adaboost算法,训练出手掌手势分类器。实现了单高斯肤色模型和Otsu二值化算法,对手掌手势分类器检测出的手掌候选区域进行过滤。此算法可以准确的定位手掌手势。分析了传统Camshfit算法的缺点：1)半自动化；2)无预测机制,易受到干扰而丢失跟踪目标；3)只能进行单目标跟踪。针对此缺点,提出了改进的手势跟踪算法：1)检测手掌手势的结果作为Camshift算法的初始输入,代替手动选取跟踪目标,从而实现徒手手势全自动跟踪,解决Camshfit算法的半自动问题；2)在Camshift跟踪过程中加入Kalman滤波器,对手势的位置进行预测,防止手势在运动速度过快、受到大面积相似背景颜色干扰时易丢失跟踪目标问题；3)利用面向对象的思想,封装Camshfit算法和Kalman滤波器算法,分别为双手手势建立类对象,从而对双手进行独立跟踪,解决Camshift只能进行单目标跟踪的问题。提出一种手势特征提取的方法,包括拟合椭圆整体特征和边缘方向直方图细节特征。拟合椭圆整体特征包括手势椭圆的重心位置、长短轴及旋转角度,其中重心坐标是以人脸中心点坐标为基准的相对坐标,防止非特定人对特征提取产生影响。边缘方向直方图细节特征是通过Cann1y算子计算手势图像的边缘,求出每个边缘点的正切方向角度,在[-π/2,π/2的角度空间统计组数为8的直方图。将两种特征归一化,组成13*1手势特征向量,能够有效区分不同的手势；提出一种基于特征模板和欧式距离的手势识别方法：计算提取的手势特征向量和模板库中手势向量的欧式距离,若取距离最小者作为识别的结果,若距离大于设定的阈值,则视为匹配失败,拒绝识别。此算法计算量小,时间复杂度低,准确率较高。基于OpenCV2.4.5, MFC和Visual Studio2012,实现了基于视觉的手语识别系统。此系统能够明晰地显示处理过程并实时的进行手语识别。