论文部分内容阅读
为解决传统教室系统,老师们在教学过程中因与教学设备的交互而分散过多精力的问题,本论文提出交互式教学界面,让老师们能够用潜意识的、自然的手势给学生们上一节立体几何课。以降低教师对多媒体设备的操作负荷和认知负荷,提高教师讲课效率。对于相近的手势传统的手势识别算法,识别率较低,普适性较差,鲁棒性不高,很难满足交互式教学界面的要求。因此本论文在国家自然科学基金项目(No.61472163,61603151)、国家重点研发计划项目(2016YFB1001403)和山东省重点研发计划项目(2015GGX101025)等项目基金的支持下,以交互式教学界面为应用平台,面向教学界面中的手势识别算法展开研究。本论文的主要目标是揭示深度学习网络训练参数与模型识别率之间的关系,探索基于深度学习的手势识别新方法,解决传统手势识别算法中识别率差、鲁棒性低、普适性差等关键性问题。本论文的创新点体现在以下两个方面:(1)SCDDF(Shape Context Density Distribution Feature)算法的设计与实现。在基于几何特征的手势识别算法DDF(Density Distribution Feature)密度特征的基础上,融合了形状上下文特征描述子算法,提出SCDDF算法。通过融合两种算法的优点,加入手势主方向和手指重心点与主方向夹角等空间坐标特征,使得新算法对于10种相近手势的识别率提高到97%以上,识别的准确率以及鲁棒性明显提高,对体感应用有着重大意义。(2)基于深度学习的手势识别算法的提出。基于本文建立的手势大数据库,针对手势数据库动态手势序列提出首尾帧固定,中间帧遍历组合的动态手势序列合成方法,对于静态手势,为实现动静、态手势训练和识别的融合,提出了静态手势图片还原序列算法,在此基础上结合solver文件的训练参数取值对深度学习模型的影响规律,实现了基于深度学习的静态手势识别算法、基于深度学习的动态手势识别算法和基于深度学习的动静态融合的多态手势识别算法。在此基础上,本论文围绕“证明椎体的体积为柱体体积3/1”的几何课,设计并创建了交互式教学界面。结合基于深度学习的手势识别算法以及本文提出的SCDDF手势识别算法,让老师能够用潜意识的、自然的手势去直接控制教学界面中的物体来给学生演绎几何原理,让课堂不再是PPT中的按部就班,本论文的研究,对于今后的体态教学具有重要的意义。