论文部分内容阅读
增强现实技术作为当前人机交互领域的热点研究,为教育、医疗、家居生活等各种领域的发展增添新的活力。特别地,在教育领域利用增强现实技术模拟实验课堂不仅可以丰富学生的体验感,还加强学生动手操作能力,但大多数研究者仅通过卡片标记物去模拟实验,这极大降低了用户的真实操作感,此外,用户大多只是在视觉模态下模拟实验,仅单一模态的交互导致用户的操作负荷过重从而降低了交互效率。因此,本文在国家重点研发计划“云端融合的自然交互设备与工具”和“多模态自然交互的虚实融合开放式实验教学环境”项目的支持下,依托于虚拟实验课堂的应用背景,以多模态融合自然交互为研究目的,提出了在增强现实环境下基于触觉、视觉和听觉的多模态融合方法,并设计和实现了智能化学实验系统界面,旨在让学生通过不同模态的交互,体验和学习化学实验中爆炸、腐蚀等危险现象以及产生气体、发热等肉眼看不到的现象。本文的创新点主要体现在以下三个方面:(1)设计了具有新型结构功能的智能设备;为解决化学实验试剂无法重复使用、实验器材的昂贵以及现存的智能设备无法检测用户特定的行为等问题,本文设计一种新型结构的3D打印智能设备。在智能设备的不同位置设置检测用户行为的多种传感器,使之具有感知用户拿起、倾倒、移动、旋转等特定行为的功能以及对用户抓取虚拟模型的震动反馈功能。智能设备的使用提高了用户在虚拟实验中的沉浸感和真实感。(2)提出了基于增强现实的手势识别与交互算法;现有AR系统普遍采用卡片标记物实现虚实融合,但这种方法影响实验交互过程的流畅性和自然性。为此,本文利用自然手势代替卡片,进而提出了基于增强现实的手势识别和交互算法。首先,获得预处理的6类手势深度图,通过搭建卷积神经网络训练手势识别模型实现手势识别;然后,为解决虚实融合的一致性问题,在增强现实场景中确定手部关节点坐标与虚拟场景之间的映射关系,建立自然手和虚拟模型的坐标一致性模型;最终,实现手势和虚拟模型的实时交互,其手势平均正确率达到99.04%,提高了手势识别的鲁棒性和实时交互性。(3)提出了一种面向多模态融合的智能导航交互模式;针对单模态交互存在用户操作负荷过重从而交互效率比较低的问题,在决策层构建手势、语音和传感器信息的融合和智能交互方法,进而本文提出一种面向多模态融合的智能导航交互模式。首先建立三种模态的信息数据集及意图分析,构建多模态信息相交相并和信息独立函数;然后基于有向图提出了多模态信息融合交互策略,实现对用户的意图理解;最后提出基于多模态意图理解的导航式交互模式,正确指导用户的操作行为,解决了难操作的问题。结果表明,在正常的操作速度下平均成功率为92%,且多模态交互的平均操作负荷降低了36%,提高了用户的交互效率。在此基础上,以多模态交互的虚拟实验课堂为目的,本文基于多模态融合交互方法设计并搭建了基于增强现实下的智能化学实验系统。用户在系统中借助手势、语音、智能设备和场景中的虚拟模型轻松完成实验操作,有效降低用户操作认知负荷提高交互效率。本研究与应用旨在为中学生提供更好的教育资源,对我国边远山区教学和实验条件严重匮乏的地区的教育产生重要的意义。