论文部分内容阅读
摘 要：本文论述了虚拟现实训练系统中基于手势的人机交互，结合使用数据手套和位置跟踪设备，确定现实世界中手的姿势和位置，驱动虚拟手实施交互操作。组合神经网络和逻辑，分别识别静态手势和动态命令，建立针对性的操作命令。
关键词：虚拟现实;训练系统;基于手势;人机交互
本文研究了虚拟现实训练系统中基于手势的人机交互，将交互的主要过程表现出来。利用位置跟踪数据，驱动虚拟手在虚拟空间进行运动，利用神经网络确定具体的手势，受训者获取操作命令之后，利用人机交互技术，可以顺利操纵虚拟训练环境，可以获得良好的训练。
1.虚拟现实训练系统中基于手势的人机交互和配置
虚拟现实训练系统中基于手势的人机交互，利用人的手势发送计算机指令，可以实现虚拟环境交互。设置位置跟踪器，利用发射装置实时跟东接收器的位置变化，接收器和发射装置要相距8英尺。利用立体头盔显示器，其中包括一套光学系统和两个液晶显示器，交替切换计算机的图像，并且向双眼传递，立体现实虚拟世界。利用机械方法，首先在头部固定头盔显示器，其次固定置跟踪器的接收器，确定头部位置是否发生变化，以此为基础更改虚拟场景，提高虚拟场景和实际场景的一致性。
数据手套当中包括18传感器，不同的传感器复杂不同的部位，每个传感器都发挥着重要的作用。通过18个传感器可以确定手的姿势，在数据手套上设置跟踪器，负责测量手的空间位置。
2.虚拟现实训练系统中基于手势的人机交互的过程和技术
2.1交互过程
在虚拟现实训练系统当中，利用基于基于手势的人机交互需要有效落实相关步骤，首先要求受训者将手套固定好，根据不同的受训者特点，进一步调整手套的相关数据，标准化处理数据手段讨的传感器，这样有利于精确控制虚拟手。虚拟手工作过程中，需要发挥手套传感器的作用，操作模型的手指和手掌等部位驱动虚拟手运动，利用位置跟踪器，确定虚拟空间中虚拟手的位置，这样可以协调受训者现实手和虚拟动作。通过手势识别，可以确定受训者的手势，这样有利于明确受训者的操作目的，建立操作指令。当正确的识别手势之后，可以操作虚拟物体和部件，在虚拟环境当中设置三维手模型，结合虚拟操作训练要求定义手势，确定手势命令。
2.2建模
實施虚拟训练，需要建设虚拟空间的三维虚拟手模型。在建模过程中，可以分解手为手掌和手指两个部分，再分解手指为指段，其中大拇指为两段，其他手指为三段。每个部位利用不同的几何体表示，如果需要改变具体手势，就要改变数据手套的手指和关节，完成运动动作。要注意的是，虚拟手套手指段的操作并不是随意的，需要始终围绕关节点运动，因此需要约束各个手指的空间。结合运动约束条件，建立数据手套指段的坐标系，需要在一定程度上限制指段的运动，控制器自由度，这样可以保障整体运动效果。
2.3校正数据手套
在出厂之前需要校准数据手套，在校准过程中，需要确定数据手套的动态范围，计算传感器的动态范围和最大值和最小值。不同传感器的动态范围都是不同的，再加上每个受训者的手也是不同的，因此需要转化传感器的原始数据，确定各个手指的弯曲角度和相邻手指的张幅。受训者戴上数据手套之后，需要调整手套的数据，提高传感器输出值的准确性，控制虚拟手的屈伸和张开等动作。在校正数据手套的过程中，根据不同的受训者，确定不同的手势运动范围，具体到手指的弯曲角度，实现传感器动态范围的规格化，提升虚拟手驱动过程的精确性。
2.4驱动虚拟手
驱动虚拟手，主要是利用手部位置跟踪器和各个传感器，操作虚拟手运动，在运动过程中，虚拟手姿势和用户手姿势要始终保持一致。通过控制数据手套的传感器，实现虚拟手各个手指的屈伸和手掌倾斜，利用位置跟踪数据控制虚拟手的空间位置。结合手模型的结构和约束条件，手指运动都是围绕手掌进行运动的，通过手掌带动其他手指进行运动，如果手掌不动，利用手掌的平移和旋转，手指也随随之发生运动。结合数据手套各个传感器的数据，可以实时改变收支的去审核手掌弯曲等，保证虚拟手姿势和训练人员的姿势保持一致性。
虚拟场景主要是利用六自由度，利用位置跟踪器可以确定实体的六自由度位置，在数据手套上固定位置跟踪器的接收器，确定训练人员手的六自由度空间位置，在虚拟空间中映射此位置，这样有利于灵活改变虚拟手的位置，如果训练人员位置发生改变，那么虚拟手也会随之发生改变。
要想识别手势，需要转变空间手势为计算机执行，这样有利于确定用户的手势，确定用户手势意图，建立针对性的操作命令。受训者戴上数据手套之后，完成相应的动作，数据手套的传感器可以传送不同的数据，计算机通过数据数据映射，确定手势。
2.5交互事件的研究
在以往的交互中，参与性不强，通过虚拟现实技术在通过交互探索方案的构建，可更好的选择场景设备进行交互，以保证交互检验的合理性，全面提升交互时间处理的有效性，各系统交互事件的项目研究提供参考。通常状况下，在交互事件项目确定中，具体的检测方法包括：第一，人员作业设备的交互事件。通过接触物体操作，应该保证动作以及实际情况的适应性，展现各个设备部件以及交互的核心价值。第二，在操作人员抓取物体交互事件的监测中，应该通过物体添加throwable脚本进行数据的选择。第三，在脚本迫使Unity强制增加的状况下，应该保证各个执行脚本组件的科学性，避免编译错误现象的发生。
例如，在数据编译中，编译过程如下：
[Require Component（typeof（Interactable））]
[Require Component （typeof（Rigidbody）]
[Require Component （typeof（Velocity Estimator））
3.结束语
在虚拟操作当中，动态手势占据不可代替的地位，但是当前动态手势技术还不够完善，还无法准别识别复杂的动态手势，通过本文论述虚拟现实训练系统中基于手势的人机交互，对于相关研究提供理论基础，在今后发展过程中，需要加强研究，提高基于手势的人机交互技术的发展水平。
参考文献：
[1]朱柳梅，于佳佳，李青.康复训练虚拟现实系统在乳腺癌患者术后康复锻炼中的应用[J].齐鲁护理杂志，2019，25（18）：99-102.
[2]杨杏萍，陈卓铭，高照.基于守门员虚拟现实游戏的脑卒中后上肢运动训练系统的应用设计[J].康复学报，2019，29（04）：61-66+78.
[3]李力，唐昊霞.基于虚拟现实技术的产钳操作模拟训练系统的研究和设计[J].科技与创新，2019（07）：146-148.
作者简介：
方浩（1976-），男，本科， 工程师，主要从事电力信息化管理及配网自动化管理工作。
（贵州电网有限责任公司贵阳供电局，贵州 贵阳 550000）
关键词：虚拟现实;训练系统;基于手势;人机交互
本文研究了虚拟现实训练系统中基于手势的人机交互，将交互的主要过程表现出来。利用位置跟踪数据，驱动虚拟手在虚拟空间进行运动，利用神经网络确定具体的手势，受训者获取操作命令之后，利用人机交互技术，可以顺利操纵虚拟训练环境，可以获得良好的训练。
1.虚拟现实训练系统中基于手势的人机交互和配置
虚拟现实训练系统中基于手势的人机交互，利用人的手势发送计算机指令，可以实现虚拟环境交互。设置位置跟踪器，利用发射装置实时跟东接收器的位置变化，接收器和发射装置要相距8英尺。利用立体头盔显示器，其中包括一套光学系统和两个液晶显示器，交替切换计算机的图像，并且向双眼传递，立体现实虚拟世界。利用机械方法，首先在头部固定头盔显示器，其次固定置跟踪器的接收器，确定头部位置是否发生变化，以此为基础更改虚拟场景，提高虚拟场景和实际场景的一致性。
数据手套当中包括18传感器，不同的传感器复杂不同的部位，每个传感器都发挥着重要的作用。通过18个传感器可以确定手的姿势，在数据手套上设置跟踪器，负责测量手的空间位置。
2.虚拟现实训练系统中基于手势的人机交互的过程和技术
2.1交互过程
在虚拟现实训练系统当中，利用基于基于手势的人机交互需要有效落实相关步骤，首先要求受训者将手套固定好，根据不同的受训者特点，进一步调整手套的相关数据，标准化处理数据手段讨的传感器，这样有利于精确控制虚拟手。虚拟手工作过程中，需要发挥手套传感器的作用，操作模型的手指和手掌等部位驱动虚拟手运动，利用位置跟踪器，确定虚拟空间中虚拟手的位置，这样可以协调受训者现实手和虚拟动作。通过手势识别，可以确定受训者的手势，这样有利于明确受训者的操作目的，建立操作指令。当正确的识别手势之后，可以操作虚拟物体和部件，在虚拟环境当中设置三维手模型，结合虚拟操作训练要求定义手势，确定手势命令。
2.2建模
實施虚拟训练，需要建设虚拟空间的三维虚拟手模型。在建模过程中，可以分解手为手掌和手指两个部分，再分解手指为指段，其中大拇指为两段，其他手指为三段。每个部位利用不同的几何体表示，如果需要改变具体手势，就要改变数据手套的手指和关节，完成运动动作。要注意的是，虚拟手套手指段的操作并不是随意的，需要始终围绕关节点运动，因此需要约束各个手指的空间。结合运动约束条件，建立数据手套指段的坐标系，需要在一定程度上限制指段的运动，控制器自由度，这样可以保障整体运动效果。
2.3校正数据手套
在出厂之前需要校准数据手套，在校准过程中，需要确定数据手套的动态范围，计算传感器的动态范围和最大值和最小值。不同传感器的动态范围都是不同的，再加上每个受训者的手也是不同的，因此需要转化传感器的原始数据，确定各个手指的弯曲角度和相邻手指的张幅。受训者戴上数据手套之后，需要调整手套的数据，提高传感器输出值的准确性，控制虚拟手的屈伸和张开等动作。在校正数据手套的过程中，根据不同的受训者，确定不同的手势运动范围，具体到手指的弯曲角度，实现传感器动态范围的规格化，提升虚拟手驱动过程的精确性。
2.4驱动虚拟手
驱动虚拟手，主要是利用手部位置跟踪器和各个传感器，操作虚拟手运动，在运动过程中，虚拟手姿势和用户手姿势要始终保持一致。通过控制数据手套的传感器，实现虚拟手各个手指的屈伸和手掌倾斜，利用位置跟踪数据控制虚拟手的空间位置。结合手模型的结构和约束条件，手指运动都是围绕手掌进行运动的，通过手掌带动其他手指进行运动，如果手掌不动，利用手掌的平移和旋转，手指也随随之发生运动。结合数据手套各个传感器的数据，可以实时改变收支的去审核手掌弯曲等，保证虚拟手姿势和训练人员的姿势保持一致性。
虚拟场景主要是利用六自由度，利用位置跟踪器可以确定实体的六自由度位置，在数据手套上固定位置跟踪器的接收器，确定训练人员手的六自由度空间位置，在虚拟空间中映射此位置，这样有利于灵活改变虚拟手的位置，如果训练人员位置发生改变，那么虚拟手也会随之发生改变。
要想识别手势，需要转变空间手势为计算机执行，这样有利于确定用户的手势，确定用户手势意图，建立针对性的操作命令。受训者戴上数据手套之后，完成相应的动作，数据手套的传感器可以传送不同的数据，计算机通过数据数据映射，确定手势。
2.5交互事件的研究
在以往的交互中，参与性不强，通过虚拟现实技术在通过交互探索方案的构建，可更好的选择场景设备进行交互，以保证交互检验的合理性，全面提升交互时间处理的有效性，各系统交互事件的项目研究提供参考。通常状况下，在交互事件项目确定中，具体的检测方法包括：第一，人员作业设备的交互事件。通过接触物体操作，应该保证动作以及实际情况的适应性，展现各个设备部件以及交互的核心价值。第二，在操作人员抓取物体交互事件的监测中，应该通过物体添加throwable脚本进行数据的选择。第三，在脚本迫使Unity强制增加的状况下，应该保证各个执行脚本组件的科学性，避免编译错误现象的发生。
例如，在数据编译中，编译过程如下：
[Require Component（typeof（Interactable））]
[Require Component （typeof（Rigidbody）]
[Require Component （typeof（Velocity Estimator））
3.结束语
在虚拟操作当中，动态手势占据不可代替的地位，但是当前动态手势技术还不够完善，还无法准别识别复杂的动态手势，通过本文论述虚拟现实训练系统中基于手势的人机交互，对于相关研究提供理论基础，在今后发展过程中，需要加强研究，提高基于手势的人机交互技术的发展水平。
参考文献：
[1]朱柳梅，于佳佳，李青.康复训练虚拟现实系统在乳腺癌患者术后康复锻炼中的应用[J].齐鲁护理杂志，2019，25（18）：99-102.
[2]杨杏萍，陈卓铭，高照.基于守门员虚拟现实游戏的脑卒中后上肢运动训练系统的应用设计[J].康复学报，2019，29（04）：61-66+78.
[3]李力，唐昊霞.基于虚拟现实技术的产钳操作模拟训练系统的研究和设计[J].科技与创新，2019（07）：146-148.
作者简介：
方浩（1976-），男，本科， 工程师，主要从事电力信息化管理及配网自动化管理工作。
（贵州电网有限责任公司贵阳供电局，贵州 贵阳 550000）