面向人机协作系统的人体姿态动作识别研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:jtzou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息科学技术的发展,人机协作技术已成为一个研究和应用热点。新一代的人机协作系统可以充分发挥人与机器人的专长,极大地促进了生产效率的提高。实现人机协作系统的关键是让机器人理解人的行为活动,因此本文针对人机协作系统中的人体姿态动作识别技术展开研究,分别提出了一种姿态估计方法和一种动作识别方法。具体工作内容如下:
  (1)建立了一套多视角人体特殊作业行为数据库。由于目前没有针对工厂环境的特殊动作数据集,因此参照主流通用动作识别数据集的组成结构,搭建了一套多视角多模态相机传感器平台。在此基础上,设计制造业背景中的人体常见动作,制作了工厂环境中的专用数据库,为后续特定场景下的行为识别研究提供了相应支持。
  (2)提出了一种基于注意力多分辨率网络的人体姿态估计方法。网络针对多分辨率特征融合方式进行改进,引入注意力机制对不同支路通道信息的重要性进行评估,增加包含重要语义表征通道的权重,使网络能够合理地对高分辨率和低分辨表征进行融合,从而得到更高的空间定位精度。此外在初始采样阶段使用多内容注意力残差单元来增加感受野,提高网络头部对多分辨率信息的学习能力。
  (3)提出了一种自适应关节联系图卷积网络的人体动作识别方法。网络通过引入自适应机制改进人体关节的固定图拓扑结构,避免了传统手工设置节点连接方式的限制。此外采用关节联系图卷积模块直接捕获各个关节的潜在依赖关系,增强网络对远距离关节点特征的提取。
  本文对于提出的姿态估计方法和动作识别方法在相关数据集上进行了实验,实验结果能够证明方法的可行性。
其他文献
机器人导航是机器人领域中一项重要的技术,广泛应用于自动驾驶、国防航天、物流配送、巡逻安检等各个领域当中。近年来人工智能技术的发展,尤其是深度学习和计算机视觉等技术的发展为该领域的研究发展带来了新的契机,众多工业和学术界的研究人员针对该领域开展了丰富的研究。  虽然目前该领域已经有了诸多经典的工作,但是一方面系统设计的复杂性,对数据样本的需求以及模型的可解释性一直是不同技术框架中难以平衡的问题。另一
学位
随着人类科技应用和探索自然步伐的进一步深入,对机器人的移动能力也提出了越来越高的要求,要求其能够在复杂的地形环境下自主运动。与轮式或履带式机器人相比,腿足式机器人具有克服障碍和适应复杂地形的能力,可作为多自由度的移动承载平台,在非结构化地形完成移动任务。本文以六足机器人作为研究对象,针对六足机器人在复杂环境下的移动控制问题,研究六足机器人系统的高适应性运动规划算法与控制方法框架,力求实现基座运动与
在计算机视觉领域中,动作识别一直是一个热门的研究问题。之前的动作识别主要基于视频数据,但近几年来随着深度传感器技术的发展,人体骨架数据变得容易获取,基于骨架数据的动作识别也逐渐成为一个重要的研究方向。骨架数据是人体动作的高维表征,其相比于视频数据有着数据量小、不受复杂背景与光照的干扰、鲁棒性强等优势。早期动作识别是动作识别任务的延伸,其不同之处在于早期动作识别需要在动作结束前识别出动作类型,从而能
车辆作为城市交通网络中的重要组成部分,成为当前智能交通系统内的重点研究对象。车辆重识别旨在对车辆身份进行识别,可以在大规模监控网络中搜索与指定车辆身份相同的车辆图像,对于交通治安人员搜索特定车辆、跨视图车辆跟踪和车辆行为分析等应用具有重要作用。当前车辆重识别研究主要基于道路监控相机进行,在地域限制和灵活性方面具有一定局限性,相比较之下,无人机机载相机平台由于具有极高的自由度,在车辆重识别领域具有重
计算机视觉和自然语言处理是人工智能领域的研究热点,在实际的生产生活中有着广泛的应用,比如人脸识别、机器翻译等技术。随着深度神经网络研究的深入,尤其是卷积神经网络在计算机视觉领域以及循环神经网络在自然语言处理领域取得了重大的突破,很多结合计算机视觉以及自然语言处理的任务如视频语义描述等为人机交互提供了更多的可能性。近年来,结合了上述两种任务的基于文字描述的单目标跟踪任务,其研究也受到了广泛地关注,但
学位
船舶在交通运输系统中占据着十分重要的地位,近年来随着通信技术的发展,航运业以及现代造船业也正在向着网络化、智能化的方向迈进。船舶的安全航行、规范管理的重要性也显得日益突出,这对船舶的数据监测系统提出了更高的要求。本文以船联网技术为基础,探索了通信技术在船舶远程数据监测领域应用,设计实现了基于船联网的远程数据监测系统,打破了不同船舶、不同设备之间信息互通难、数据保存难的局面。针对船端设计了船载信息采
现阶段我国面临着隧道工程建设需求扩张与盾构机产能不足的矛盾。刀盘作为盾构机开挖掘进的核心部件,对工程质量的稳定性起着决定性作用。但是刀盘焊接车间仍采用传统的人工焊接方式,这不仅存在着焊接效率低、焊接一致性差的问题,还会对焊接工人的健康造成损害,且焊接车间尚未应用现代化的信息管理系统,因此升级刀盘的焊接技术与监管手段具有重要意义。  本文来源于山东省重大科技创新项目,针对刀盘焊接过程中智能、柔性化不
学位
随着当代医疗技术的不断提高,外科手术已经迈入革命性的时代,正向着微创化、数字化及智能化方向转变。计算机辅助手术作为数字化微创外科手术革命的初始已经广泛活跃在外科治疗的前沿领域,同时手术工具检测和手术流程识别分别是计算机辅助手术领域重要的研究课题。在计算机辅助的微创手术系统中,手术工具检测算法可以为医生或者辅助机器人提供准确、实时的信息,例如轨迹、位置信息等,然后帮助外科医生制定最佳的手术规划或者提
在刑事侦查过程中,素描画像是通缉、搜查、捉拿犯罪嫌疑人的主要技术手段之一。人脸照片-素描转换的目的是将提供的素描画像(或人脸照片)合成高质量的人脸照片(或素描),从而便于与照片(或素描)数据库中的图像进行匹配,检索出待识别人的身份或缩小待识别范围。为了提高人脸照片-素描转换过程中图像的合成质量,为进一步提高人脸识别准确率奠定基础,本文主要做了以下工作:  (1)对不同的损失函数的作用进行了分析,并
学位
随着仿生机器人技术的不断发展,仿生机器人的的应用领域变得更加广泛,由于不同的功能需求,各式各样的仿生机器人呈现在大众面前。陆地移动机器人根据运动方式的差异,可以分为轮式移动机器人,履带式移动机器人以及足式移动机器人。相较于轮式移动机器人和履带式移动机器人,腿足机构具备很高的灵活性,因此足式机器人在自然环境下作业有着巨大的优势。  目前,仿照四足哺乳动物的运动方式,大量的研究团队开展了对四足机器人的