论文部分内容阅读
普适环境是一个信息空间与物理空间融合的、充满计算与通信能力的环境，在普适环境中，人们可以随时随地透明地获得数字化的服务。普适环境下的手势识别技术应能主动感知与适应用户及其上下文环境，使用户尽可能摆脱对输入设备、环境和规则的束缚，与环境进行自然而有效的手势交互。鲁棒性是衡量普适环境下的手势识别方法是否自然有效的一个重要指标，手势识别的鲁棒性应从手势采集方式、手势跟踪方法、手势识别模型等多方面的鲁棒性系统展开研究。目前传统的手势识别方法在鲁棒性方面还主要存在以下问题:1）手势识别中手指鲁棒跟踪问题;2）手势识别模型中增量更新问题;3)手势识别中多源信息融合问题;4）手势识别中的普适性问题。针对以上问题，本文的主要工作如下: 提出了一种手掌姿态自适应的手指鲁棒跟踪方法 针对手势识别中的手指鲁棒跟踪问题，将卡尔曼滤波器和对手掌姿态的感应机制融入到基于深度信息的手指检测中，提出了一种手掌姿态自适应的卡尔曼单指尖跟踪方法。借助上一时刻指尖的位置信息，得到当前时刻指尖位置的预测值;通过手掌姿态检测，得到用于更新指尖位置的观测值;最后执行更新操作，得到最终的指尖位置估计值。实验结果表明，提出的方法可以实现准确、鲁棒的单指尖位置信息检测和跟踪。 提出了一种用户自适应的手势识别模型增量更新方法 针对手势识别模型中的增量更新问题，提出了一种快速适应于新用户的自适应自迭代的在线增量式极限学习机AIOS-ELM。新模型通过多次迭代增量手势数据，充分挖掘新增数据对旧手势识别模型的修正能力;同时通过对新增加的用户手势数据加以自适应时效机制，使得旧手势识别模型能够快速适应于新用户。实验结果表明，本文方法能够在记忆原有手势识别模型特征的基础上，充分挖掘新增样本对旧模型的修正能力，同时具有使模型快速适应于新数据的自适应时效能力。 提出了一种基于多源信息融合的手势识别方法 针对单通道感知在手势识别中存在的不足，分别提出了基于双通道深度感知和异构感知融合的手势识别方法。对于双通道深度感知融合的手势识别方法，提出了双RGB-D深度摄像头的标定和坐标系对齐方法，通过融合多个视角的深度数据获得手掌完整的三维点云数据，提高了基于深度信息的手势识别方法的鲁棒性。对于双通道异构感知融合的手势识别方法，提出了将深度摄像头和陀螺仪融合的动态手势协同识别模型，从手掌的空间位置变化和姿态变化两方面获取完整的手势运动数据，实现了基于异构感知数据融合的手势识别。实验结果表明，基于多源信息融合的手势识别方法能够获得更加丰富的手势数据，提高手势识别方法的准确率和鲁棒性。 提出了一种基于超声波的快速鲁棒手势识别方法 针对手势识别中的普适性问题和基于规则的超声波手势识别方法存在的不稳定性问题，提出了一种联合本文提出的AIOS-ELM和隐马尔可夫模型HMM进行超声波手势识别的方法。利用ELM的急速学习特点实现每帧声波信号中手掌运动趋势的快速识别，将识别出的手掌运动趋势序列作为HMM的特征输入，利用HMM对于时序信号的强分类能力实现基于超声波的鲁棒手势识别。同时，采用AIOS-ELM使手掌运动趋势识别模型能够根据环境和用户的变化进行在线自适应更新。实验结果表明，本文方法能够对用户快速达到较高的超声波手势识别准确率和鲁棒性，适合在普适环境中进行推广应用。 最后，设计研发实现了一套基于手势识别的非干扰老人健康检测平台。该平台基于提出的鲁棒手势识别方法，目前主要包括面向老人的反应力检测系统和脑卒中预警系统。面向老人的反应力检测系统旨在通过让老年人与3D虚拟人玩石头剪刀布游戏，对老人反应能力进行简单的检测和训练;面向老人的脑卒中预警系统旨在通过基于体感的连线测验BSG-TMT，以期实现对脑卒中的初步预警。