论文部分内容阅读
城市地铁、火车站、机场等公共场所具有人员密集程度高、客流量大等特点,它们是犯罪潜逃甚至恐怖分子袭击的重要场所,这些场合对智能视觉监控技术的需求日益增加,人体步态作为一种具有非接触、非侵犯性、难以伪装和模仿及可远距离检测等特点的新型生物特征,其在交通公共安全领域中将发挥无可替代的作用。在人工智能快速发展的推动下,基于步态的身份识别技术也有了新的突破,但技术上还存在着因服饰改变、外携物品、视角问题、步行速度等带来的挑战以及不能做到实时处理,使得基于步态的身份识别与监控系统无法大面积投入使用。本文针对多视角下的服饰改变、携带物等协变量导致身份识别不理想的问题,以深度学习技术为基础,提出基于人体行走特征矢量图的步态识别方法,主要工作如下:(1)针对步态识别任务多数要求能实时处理在室外较复杂环境的情况,提出基于基础网络为Mobilenet的人体姿态估计算法OpenPose进行人体行走特征矢量图的获取,即首先使用YOLOV3网络结合步态轮廓高宽比方法对数据集进行步态平均周期的提取,以此作为步态时空网络的超参数time_step的设置,之后剔除与步态识别任务无贡献的头部PAFs且进行数据标准化,最后将PAFs按照时间序列进行堆叠,则形成了本文提出的人体行走特征矢量图。在CASIA-B部分数据集进行了实验,实验结果表明,这种方法获得的特征描述既保留丰富的时空信息又避免了冗余信息不利于时空网络的特征学习、模型的训练,能较好解决服饰改变、携带物等协变量引发的识别困难的问题。(2)针对现有的步态特征学习与识别算法对多视角下的服饰改变、携带物等协变量问题导致算法鲁棒性差的问题进行了创新,设计了一种能较好解决多视角下的服饰改变、有携带物影响的神经网络,即把人体行走步态矢量图作为输入的步态时空网络,该时空网络是基于残差学习模块学习步态空间特征和基于LSTM学习步态时间特征的特征学习与识别网络,在网络末端Softmax层进行分类判决。(3)组建了18个视角下的三种步行状态(普通、服饰改变、携带物)的室外数据库,且在数据库进行了多视角下同状态和跨状态实验,验证了基于人体行走特征矢量图的步态识别方法的适用性及鲁棒性。最后,在上述算法研究的基础上,利用Tensorflow、OpenCV、PyQt设计和实现了基于人体行走特征矢量图的身份识别系统,并使用该系统在自建数据库中完成了步态识别测试,取得了较好的效果,说明所提方法能有效提升多视角下考虑服饰改变、携带物的算法识别率和鲁棒性。