基于VSLAM增强现实的跟踪注册技术及其在手功能康复上的应用

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:sihuajian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由虚拟现实技术发展而来的增强现实近年来被应用在了多个领域,如教育,医疗,工业维修等,其中将增强现实技术与手功能康复技术结合逐渐成为康复领域的研究热点。本文通过改进增强现实的注册算法设计出针对ADL(activities of daily living,日常生活能力)的康复方案:首先针对VSLAM(visual simultaneous localization and mapping,视觉同时定位与建图)注册的物体不能改变位置和旋转等姿态信息的问题,本文提出了一种基于模板跟踪定位的增强现实跟踪算法。该方法通过建立低维模板进行快速定位,进而在跟踪阶段通过改进的非线性的卡尔曼滤波算法预测运动,缩减匹配区域达成减少耗时目的。其次,由于传统的VSLAM环境大多没有考虑到动态场景对增强现实注册功能的影响,同时本文提出的手功能康复训练场景中出现了大量的动态目标。基于此,本文提出了动态场景下针对动态目标跟踪的VSLAM-AR算法。该方法利用仿射矩阵和GMM(gaussian mixed model,高斯混合模型)建立候选动态区域,通过增量模型在关键帧处对候选动态区域进行分配,同时利用YOLOv3和粒子滤波进行持续的观测跟踪。通过TUM数据集验证本文提出算法的有效性。然后,本文将以上两种增强现实跟踪注册算法相结合,提出了基于VSLAM下动态目标跟踪的AR算法。该算法既可以有效剔除静态场景下的动态目标,又保证了基于动态模板目标跟踪注册的虚拟物体仍处于VSLAM的世界坐标系中。为了方便患者进行手功能康复训练,本文使用了OpenPose进行二维手势姿态识别,结合VSLAM提供的相机位姿信息和深度信息将手部关键点映射到世界坐标系中,再通过碰撞检测算法完成交互。最后本文将上述技术结合,设计并开发了一个基于VSLAM增强现实的手功能康复系统。结合传统的外周干预治疗的CIMT(constraint induced movement therapy,强制性使用运动疗法)方案、BAT(bilateral arm training,双侧肢体训练)方案、TOT(task-oriented training,任务导向性训练)方案与增强现实结合,设计了CIMT-AR、BAT-AR、TOT-AR三种不同的康复训练方案。文中介绍了各方案的实验流程和设计该实验的原理,并通过实验结果分析了该康复训练方案的可行性。
其他文献
近几年来,我国高铁取得了巨大发展,高铁里程不断创新高;迅速发展的同时也面对着很多压力,其中保障高铁的安全运行显得尤为重要。大风是危及高铁安全运行的主要气象灾害之一,特别是近年极端大风天气发生频次增多,开展高铁沿线风速时空分布特征研究至关重要。一方面,通过对高铁沿线风速时空分布特征的分析可以实现对高铁沿线的大风易发区域、空间相关性等精准感知,对高铁沿线的气象(大风)监测点的设置及优化具有指导作用;另
阴茎鳞状细胞癌(以下简称“阴茎鳞癌”)是男性泌尿生殖系统最常见的恶性肿瘤之一,通常用“分化等级”来描述其恶性程度,根据患者病理征象划分为低、中、高3种级别。分级对后续治疗方案的选择和患者生存情况的评估至关重要,是病理医生在阅片时必须做出的诊断。它同时又是一个局部的指标,即一张切片中可能含有多种等级的区域,病理医生需要评阅所有的癌区域,分析其中细胞核的异形性、分裂象等特点,大致地做出分级诊断。这样的
增强现实技术通过将计算机生成的感知信息或虚拟对象叠加到真实世界中,以实现对真实世界的增强,提供一种与真实世界交互的体验。触觉反馈通过使用触觉设备与虚拟环境进行交互来感知触觉信息,与人类感知信息的方式相同。视触觉增强现实技术结合增强现实技术与触觉反馈,在增强现实环境下加入力触觉感知,使操作者通过触觉设备在真实场景中与虚拟对象进行触觉交互。将视触觉增强现实技术应用于手功能康复领域,让患者在视觉和触觉的
近年来,中国高铁的发展速度令人称赞,被誉为新时代中国的四大发明,其未来发展更加让人期待。相比于传统铁路,高铁速度快,对风速变化更加敏感。但是现有的预测方法分辨率小,预测精度不高难以满足高速铁路风速预测的需求。因此,如何及时准确地预测危及高铁行驶安全的大风,以便列车及时调整到安全车速,保障高铁安全高效运行意义重大。基于此,本文提出了一种组合模型预测方法并在此基础上设计了一套高铁风速预测预警系统,研究
点云分割是三维点云处理技术中的重要环节,分割结果的好坏对后续点云数据的应用有着直接影响,所以对点云数据高效准确地分割是三维点云处理领域十分重要的研究内容。基于此背景,本文对三维点云分割技术进行研究,结合超体素算法与三维点云自带的凹凸性,提出了基于超体素凹凸性的场景点云分割方法,具有运算速度快、模型复杂度低等优点。然而该方法仍存在常用算法容易混淆堆叠物体以及对较大物体过分割等缺陷。因此,本文结合超体
地球表面超过66%的区域常被云覆盖,而云的变化指示着各种天气现象的发生,当云的急剧变化发生在暴雨、雷电等灾害性天气中时,将会对人类的生活产生极大影响,甚至威胁人类的生命安全。尤其是西藏地区,夏季的强对流天气极易导致自然灾害的发生,因此需要监测该地区的云团变化情况以预防灾害的发生。风云四号A星实现了对云的实时观测,可提供高时间分辨率且多通道的观测数据,借助该数据分析云的动态变化可实现更为准确的天气预
目标检测作为计算机视觉的重要研究领域,目前在无人驾驶,工业制造,智能医疗,安防等领域得到了广泛的应用。然而在目标检测中,因目标检测场景复杂,待检测目标尺寸存在较大差异,预测分支使用特征与检测任务所需特征不匹配等问题,导致检测网络精度较低的问题。本文针对目标检测网络中存在的上述问题,提出了基于多尺度特征融合和注意力机制的目标检测方法。本文主要工作如下:(1)目标检测任务中,针对待检测目标间存在较大尺
“创客”教育是国外首先提出的一种新型的教育模式,是未来教育改革与人才培养的趋势,在国外,Scratch编程作为信息技术课程被广大学生所喜爱。目前市场上大多是基于Scratch二次开发的可视化、积木式工具,而且大部分只能实现基础的动画、故事、数学等逻辑编程,无法支持后续的电子机械类课程的教学活动。例如北斗作为国家重要的战略新兴产业,很多创客教具不支持北斗芯片的运行,无法让北斗工程以简洁的积木块形式走
人体行为识别一直是智能视频分析领域的研究热点,近几年被广泛应用在虚拟现实、人机交互以及短视频拍摄等方面,具有重大研究意义。随着深度学习算法在计算机视觉中的快速发展,基于深度学习的行为识别算法层出不穷,研究者们从识别准确率、识别速度、模型结构等方面对行为识别算法进行创新,然而目前的行为识别算法在识别精度和网络模型复杂度上仍有改进的空间。得益于深度学习尤其是长短期记忆网络在行为识别领域中的高速发展,本
近年来,随着工业和信息化的深度融合,数字化经济的发展,信息物理系统(Cyber-Physical Systems,CPSs)作为新一代的智能系统受到了广泛的关注和研究。CPSs在实现远距离实时传感和动态控制的同时,也带来了安全性的问题。随着计算机控制网络的开放性日益增强,拒绝服务(Denial-of-Service,DoS)攻击通过阻断数据传输造成的网络带宽资源被占用等问题不容忽视。另外,CPSs