论文部分内容阅读
虚拟实验系统利用虚拟现实技术和可视化技术通过对相关理论知识、操作场景的可视化表达,避免了真实操作所带来的危险;降低了实验成本;实现了实验过程的“无人值守”。人机交互是虚拟实验系统各项功能的基本保障,然而当前的虚拟实验系统交互设计往往以仿真和功能为中心,系统不能感知用户意图也无法主动协助和指导用户完成交互任务,忽视了人的交互体验。本文针对现有的两种自然交互方式手势交互和语音交互以及多态融合方法进行深入研究,旨在为虚拟实验系统建立一种自然和谐的人机交互模式,提高虚拟实验系统协助人完成交互任务的能力,同时降低人在交互过程中的操作负荷和认知负荷。本文的主要目标是探究多模态融合交互的实现机理,通过构建手势与语音融合交互算法框架,实现对用户意图的推理,提高虚拟实验系统的智能性。并提出一种虚实融合的多模态智能显微镜,通过设计智能显微镜硬件结构与传感器,使智能显微镜能够给予用户真实的操作感,同时还可以感知用户操作意图,凸显多模态自然交互的优势。论文的主要创新点为以下三个方面:(1)大多数的虚拟实验系统无法感知用户的交互意图,本文面向虚拟实验,提出了对人的意图进行理解的多模态融合框架及其关键算法,为多模态数据建立统一的语义表达,实现用户交互意图推理。(2)传统的虚拟实验系统大多都是单模态的交互方式,当误识现象出现时系统交互行为也会出现错误,用户自身无法及时的进行纠正。与传统虚拟实验系统的交互方式不同,本文构建了一种基于手势和语音融合的人机协同交互模式,用户能够通过人手以自然的方式去抓取和操作虚拟物体,同时,虚拟实验系统能够根据用户操作动作和语音推理用户当前的交互意图,根据用户交互意图虚拟实验系统主动检测用户是否存在交互困难,通过主动场景转换和语音反馈协助用户进行交互。(3)现有光学显微镜在操作过程中需要老师一对一指导学生实验,加重了老师的负担,而通过鼠标键盘交互的虚拟数字显微镜影响学生的体验感。其根本原因在于,现有技术在交互的“自然性”和“智能性”方面显得不足。为此,本文首先设计虚实融合智能显微镜硬件结构,使学生能够获得真实的操作体验;然后在多模态融合的基础上提出并实现了一种导航式交互算法,可以感知学生操作意图,对学生的实验过程进行实时、精准地导航与主动指导。