论文部分内容阅读
增强现实(Augmented Reality，AR)是为了弥补虚拟现实(Virtual Reality，VR)技术上的不足而提出的，其根本目的是通过把计算机生成的虚拟信息(包括二维信息与三维信息)叠加到真实环境中去，以增强用户对真实环境的认知能力。增强现实的提出，为装配路径规划、维修向导、医学手术、生活娱乐等多方面的应用提供了新概念、新思路。
增强现实技术的前期研究主要集中在注册技术、渲染技术以及虚实融合技术等方面，其目的是提高用户在视觉上的体验感。而另一方面，由于增强现实技术强调操作者对虚拟物体与真实物体的操作应尽可能保持一致，因此，如何能够提高用户在混合环境中与虚拟信息交互的自然性，以达到提高用户的沉浸感的目的成为增强现实技术另一个极具挑战性的课题。本文针对基于计算机视觉的人手及其动作检测技术进行研究，尝试通过计算机视觉的方法为增强现实应用系统提供一套双手交互的方法，以便增强用户在混合环境中的沉浸感。论文主要研究和解决以下几个方面问题：
首先，根据基于计算机视觉的双手交互处理过程的特点，设计了一个包含六个相对独立处理单元的双手交互模块的总体框架及其概念模型。该双手交互模块所包含的六个处理单元分别是：预处理单元、手部分割单元、手形特征提取单元、手部跟踪及定位单元、手势识别单元以及操作意图判断单元。总体框架内各个处理单元跟所采用的算法之间具有相对独立性，这不仅方便在开发时对各种不同算法进行测试与精度比较，也方便日后对整个交互模块的维护与更新。
其次，对在复杂背景下的人手分割算法进行了研究，提出了一种基于背景比较法与YCbCr色度空间的人手皮肤模型的手部分割算法。该算法首先通过预先设定好的背景图对当前视频帧进行分割，然后再利用YCbCr色度空间的人手皮肤模型把非人手皮肤的误判区域进行过滤。在背景图的局部区域发生变化后，系统自动对该区域进行更新，以保证背景参考图能够过滤掉尽可能多的非人手皮肤像素，最终达到减少在YCbCr色度空间进行精过滤所花费的时间的目的。该算法既克服了传统背景比较法在背景发生较大改变后会失效的缺陷，又减轻了传统基于色度空间的皮肤分割算法受光照影响的问题。整个算法在保证实时性的基础上，具有较强的抗干扰性。
第三，详细研究与探讨了人手的手势识别模型与算法。根据人手固有的几何约束关系，提出了一种基于人手特征点的手势识别算法。该算法中用到的特征点包括：人手的拇指尖、食指尖、拇指与食指之间的凹点、中空区以及掌心位置。该算法与传统的基于模板匹配的人手识别算法相比，具有不需要花费时间对模板库进行训练，占用资源少，实时性好等优点。
第四，研究与探讨了根据人手的动作及其位置的变化对操作者的操作意图进行判断的方法。根据操作者在增强现实环境中对虚拟物体操作的动作特点设计并定义了利用双手对虚拟物体进行移动、缩放、旋转等操作的人手动作变化过程，并据此设计了一种对操作意图进行判断的判断逻辑。本文利用预设在工作台上方的固定摄像头对人手进行实时的视频捕捉。计算机在获得相应的视频帧后，根据固定摄像头与工作台的位置关系以及人手在视频帧中的位置等信息即可计算出人手的动作与位置的变化。该方法具有运算量小，运行效率高等优点。
最后，建立了一个增强现实系统硬件平台及相应的软件平台。其中，硬件平台的核心部件包括：一台安装Windows系统的计算主机，一个监测人手动作的摄像头以及一个双目瞳距可调式视频透视立体显示设备。软件平台为用户提供了一个可视化配置界面，用户可通过该界面在未经过任何程序开发训练的情况下定制出属于自己的增强现实应用系统。为验证该硬件平台与软件平台的有效性，本文最后给出几个典型应用系统的运行情况。