论文部分内容阅读
随着时代的变迁和技术的进步，人们已不满足于用键盘和鼠标对计算机进行操作，因此人机交互技术就成为了当下的研究热门，而手势交互就是其中最受关注的一个方向。手是人体最为灵活的部位，手势所能够表现出来的是复杂的，多变的，丰富的语言含义。然而现有的手势交互多基于简单的预定义动作，可交互的语义数量和功能很受限制，而且需要按规则记忆，交互体验并不理想。如何找到一种更接近本能的自然交互方式，如何克服手的复杂多变，如何处理环境中的种种干扰，准确的定位出目标手势所在位置并获得一系列连续的跟踪轨迹，这是一个十分具有挑战性的课题，值得不断的深入研究。针对此，本文提出在单目第一视角下以裸手在空中书写文字方式来传递信息的新型交互手段。对单目视觉第一视角下复杂环境中的书写手势检测与跟踪问题进行研究，这两者是实现手势交互的前提和基础。 手势检测为手势的第一帧自检测。为了能够在复杂环境下具有较高的鲁棒性和准确率，本文采用基于2bitBp特征的随机森林分类器进行手势检测，检测目标为书写手姿态，如果检测到多个目标则进一步结合验证算法辅助判断，最后得到一个满意的用户手势位置。实验结果表明该方法能够在各种复杂背景下准确地找到目标手势的位置。 手势跟踪在手势检测得到位置的基础上，采用TLD框架进行跟踪。TLD算法的跟踪鲁棒性高，结合PN在线学习方法，可进一步提高检测准确率，对于长时间手跟踪和一定程度的手部形变有良好的适应性。本文分析和实现了原始的TLD跟踪算法的各个模块，同时结合线下检测器构成了能够实现全自动书写手势跟踪的系统。方案使用基于前向后向误差法的Median flow算法来作为TLD算法框架的跟踪模块，而将原TLD算法的检测模块实现为改进后的检测器和验证器两部分的组合。 文中最后对本文所搭建的系统进行了试验验证，逐一测试了检测器、验证器和跟踪器的功能。试验结果表明本文设计的算法检测准确率高，跟踪稳定，不易受到复杂背景的干扰，可以在第一视角的书写手势交互系统中得到实际应用。