论文部分内容阅读
传统的视频会议系统中,主要利用鼠标键盘等控制方式对视频会议进行操控。目前市面上视频会议系统产品经过多年改进,操作体验已经变得比以前好了很多,如触摸屏、触控笔、电子白板的应用为视频会议系统带来了新的操作方式。这很大的原因是新型硬件的诞生,以及自然用户界面思想的应用。自然用户界面以其直观、方便、简洁的控制方式让用户体验更为人性化。近年,虚拟现实技术发展得很快,手势操控设备产品繁多,如微软的Kinect体感摄影机,其以革命性的操作体验受到广大用户与研究人员的关注。如果能将其应用在视频会议系统中,会在多方面提供更好的用户体验。本文以视频会议系统为背景,通过介绍CoolView视频会议系统,将Kinect传感器应用到实际当中,设计了人机交互子系统。子系统中设计并实现了两套手势识别方案:一是基于骨骼数据与Gesture Recognition Toolkit库的手势识别方案,利用Kinect SDK获取人体骨骼关节点信息,并以骨骼向量的方向余弦作为特征,使用LIBSVM库作为机器学习库生成手势数据库,其小巧灵活并可以快速训练、识别和测试手势,具有用户体验较好、自定义度较高的特点。另一套方案利用Kinect SDK中的Kinect Studio与Visual Gesture Builder,录取剪辑后按本系统的需求设置参数并训练生成手势数据库。系统结构中,使用了D-BUS总线作为模块进程间IPC通路以降低模块间耦合,设计了以手势训练模块、实时识别模块、手势响应模块为中心的人机交互子系统:使用openFrameworks与Gesture Recognition Toolkit配合上述的机器学习方案完成人机交互子系统的手势训练模块;基于GRT pipeline设计实现了扩展性较高的实时识别后台服务模块;在视频会议系统中用来响应识别结果的手势响应模块。该子系统有着高扩展性、可自定义并准确度较高的特点。经过测试,该系统能完成从手势数据库训练到操作视频会议系统的功能,满足视频会议中基本的操作需求,并有较高的识别成功率与较短的响应时间,提高了交互体验。