支持Storytelling的混合现实环境及其交互技术研究

• 作 者: 宋英洁
• 出 处: 山东大学
• 发表日期: 2020年12期
• 关键词: Storytelling 混合现实 实物交互 手势识别

Storytelling是一种分享故事的社会和文化活动,已经被证明可以支持写作、阅读、词汇、听力和其他语言能力的发展。混合现实环境下的Storytelling,能够将故事直观表现出来,使故事更具趣味性,进一步增强人们对Storytelling的兴趣。如今,混合现实技术不断成熟,传统的交互方式无法适应虚实融合的交互场景。实物交互通过将物理对象和数字数据进行耦合,在计算机上增强物理对象,使得交互更加自然和便利。在Storytelling中引入实物交互工具,能够使故事更加生动有趣,激发兴趣,并提供丰富的想象空间。而目前Storytelling中的实物交互,其虚拟和真实物体之间缺乏相似性,这种虚拟对象和真实对象的不匹配会降低混合现实环境的无缝体验。另外,目前基于视觉的实物交互技术,对于实际物体在特征点和数据集方面有较高的要求。手势是一种自然直观的交互方式,混合现实环境中使用手势与虚拟对象交互能够实现自然性。然而,目前市面上的混合现实设备,如HoloLens,提供的手势存在形式单一,需要凝视点配合,不适用于直接操控三维物体等弊端。手工艺制作是一种可以提高儿童动手能力和空间想象力的传统文化形式,已成为目前的中小学课堂的主要内容之一。将儿童学习制作后的手工艺品作为实物交互工具,结合手势交互与桌面自然交互,支持儿童以更加自然的方式创作、设计以及讲述故事,基于混合现实技术构建一种新的Storytelling模式,是本文工作的出发点。本文以常见的折纸为例,研究开发了一个融合折纸制作和实物交互的混合现实Storytelling环境,并针对其中的实物交互和手势交互问题展开了研究,为支持用户应该环境的操作而提供的自然交互模式。归纳的,本文主要工作及贡献如下:1.提出一种基于混合现实技术的Storytelling新模式。其结合手工艺品教学和Storytelling两种文化活动,支持用户学习手工艺品制作,并利用制作的手工艺品作为实物交互工具,结合手势交互和触控交互,在桌面上进行故事创作和分享。本文以常见的折纸为例,研究开发了一个融合折纸制作和实物交互的混合现实Storytelling环境,并为支持用户在该环境的操作提供了自然的交互方式。用户测试结果表明,该模式能够支持用户进行手工艺制作以及故事的创作和讲述,并激发用户对手工艺制作和Storytelling的兴趣,其自然的交互方式对用户来说容易学习和使用。2.提出一种基于虚实物体实时融合的实物交互方法。用户通过HoloLens看到的是罩在实物上面的虚拟模型。本方法将三维空间中物体的六自由度姿态估计问题简化为水平桌面上的物体位置跟踪和二维空间中旋转角度的计算问题。不需要事先建立真实物体的数据集,对物体特征点数量也没有要求。实验测试表明,本方法能够实现虚拟物体和真实物体在位置和垂直于桌面方向上旋转的匹配,并且能够满足实时性要求。3.提出了适用于桌面混合现实Storytelling的手势交互技术。根据支持Storytelling混合现实环境的需求,设计了桌面触控手势和实物抓取手势两种交互手势,具有较好的真实感体验。针对手势数据预处理,提出了一种基于Kinect深度和彩色数据以及区域生长的手势分割算法,能够比较完整地分割出手势;针对手势识别问题,提出了一个基于CNN的手势分类网络模型。实验表明,本文提出手势分割算法能够有效地提高手势识别的准确率,提出的手势分类模型准确率较高,并能满足实时性要求。