论文部分内容阅读
随着技术的发展，智能电视和头戴式增强现实(AR)/虚拟现实(VR)设备已得到广泛的应用。这些设备的应用给用户带来很好的观看体验，但同时也给用户带来了新的问题:在使用这类不能直接触摸的显示设备时，缺乏自然有效的人机交互方法。由于智能手机和平板电脑的广泛应用，用户已经非常适应了直接触摸式的交互方式。而智能电视和头戴式显示等设备无法直接在屏幕上进行触摸，因此自然高效交互就成了关键的问题。针对这类设备，目前主要的交互方式有体感交互及语音交互等。常见的体感交互设备(如Kinect)由于交互起来动作幅度较大，长时间使用后用户会产生疲劳，不仅如此这类交互也不适合所有的应用场景。语音识别技术也可以用于这类设备的交互，但也有明显的局限性，例如在噪声环境下很难识别用户命令，而在需要保持安静的场所（类似图书馆，会议室）又不适合用语音进行交互。 针对这些问题，本文提出了一种创新型的交互方式，旨在通过一个类似“戒指”形态的设备，来对原本无法接触到的屏幕（包括大屏幕和头戴式显示设备）进行交互。该设备佩戴在使用者的手指上，可以在任何一个物体的表面上进行交互操作。通过在物体表面滑动手指或点击，用户就可以远距离的操作一个屏幕，类似于使用笔记本的触摸板一样方便。针对这种交互方式，本文对相关原理和关键技术进行了深入的探讨，设计并实现了相关算法，设计完成了原型系统。 本论文的主要贡献如下: (1)提出了一种基于新型可穿戴设备的人机交互系统结构 本文针对智能电视及头戴式显示设备无法触摸式交互的问题，提出了一种新型的可穿戴交互方式，通过研制一个类似“戒指”形态的设备，来解决非触摸式显示设备的触摸式交互问题。在这种交互方式下，“戒指”形态的设备具备滑动、点击和手势三种交互命令，并且这三种命令的具体控制作用是可以自定义的，从而可以兼容目前大部分设备的交互问题，达到了对非触摸式显示设备进行自然有效交互的目标。 (2)提出并实现了一种摩擦声信号的特征选择及识别方法 为了保证手势的识别精度，必须首先找到手势的“起始点”和“结束点”，本文提出了一种手指滑动“骨传导”声音识别的方法，有效地实现了交互中的”起始点”和“结束点”的识别。实验证明这种识别方式的有效性也相当高，可以排除各种干扰，识别率达到98％以上。 (3)设计并实现了手指运动轨迹计算模型及手势识别算法 由于“戒指”型设备是佩戴在手指的第三个关节，而手势的轨迹是由第一节手指的指尖形成的，传统的轨迹采集方法不能满足这种设备。本文根据手部的特点，通过分析和实验，设计并实现了一种手指姿态和手指轨迹的计算模型，并实现了手势识别算法。 (4)实现了“戒指”型交互设备的软硬件设计方案 本文在上述研究工作的基础上，给出了针对这种交互方式的软硬件实现方案，并实现了一个能进行实际交互操作的原型系统。