基于孪生卷积网络的目标跟踪算法研究

• 作 者: 王维颂
• 出 处: 山东大学
• 发表日期: 2020年12期
• 关键词: 目标跟踪 孪生神经网络 目标检测 卡尔曼滤波

现实生活中,视觉是人类获取信息最主要的方式,远远大于声觉和嗅觉获取的信息。计算机视觉技术成功地应用在了无人驾驶、辅助医疗、智能安防等领域。计算机视觉中静态的检测识别技术只能满足少量的应用场景,动态的视频目标检测识别应用范围更广,研究价值更大。视觉跟踪任务的目标是在一系列时序图像中检测连续运动的物体,获得物体的运动数据,进一步提取物体运动轨迹,并对物体运动进行运动分析,从而实现对物体运动行为的理解。近年来,卷积神经网络的成功为众多基于深度学习的跟踪器打下了基础,从大规模图像网络数据集上的预训练模型中提取的深层特征被广泛应用于目标表示。当前基于深度学习的目标跟踪算法研究主要有两种,一种是基于相关滤波的跟踪算法,另一种是端到端的神经网络跟踪算法。其中基于孪生神经网络的目标跟踪算法是典型的端到端的深度跟踪算法,本文主要研究基于孪生神经网络的目标跟踪算法及其改进工作,研究内容简介如下:(1)基于孪生神经网络的目标跟踪算法在领域内得到广泛认同,我们提出了基于多层融合的孪生网络跟踪算法,算法在孪生网络的基础上融合了浅层纹理特征以及深层语义特征优化跟踪性能。该方法主要结构分为两部分,一部分是由顶而下的模块传递高层语义信息来指导低层特征的学习,另一部分是横向模块需要转换自底向上的特征和融合横向的特征。经过实验验证取得了较好的精度。(2)另外我们还提出了基于角点检测和卡尔曼滤波的目标跟踪算法,并将算法推广到多目标跟踪当中。基于孪生神经网络的目标跟踪算法一旦跟踪失败之后无法再继续跟踪,利用基于角点的目标检测算法可以完成对图像的全局搜索,即使失败也可以在后续检测当中恢复跟踪。基于目标检测的跟踪算法受到视频噪音影响较大,结合卡尔曼滤波解决了跟踪目标的运动估计问题,使跟踪更平顺稳定。(3)多目标跟踪相对于单目标跟踪来说计算量更大,任务更复杂,因此对算法提出了很高的要求。我们在第三章的基础上优化了算法的速度,并结合孪生网络和角点检测的优势,提出了基于孪生网络和角点检测的多目标跟踪算法。算法首先利用角点检测对全局的目标进行检测,在得到检测结果后裁取需要跟踪的目标,利用孪生神经网络算法继续跟踪,一旦跟踪失败则保留目标信息,在后续目标检测中进行匹配,跟踪目标再次出现时继续跟踪。算法利用交火模块大大减小了主干网络的参数量,主干网络固定时间间隔执行检测目标,并利用孪生神经网络速度快的优势并行进行多目标的跟踪,跟踪过程利用卡尔曼滤波去除噪音。实验验证我们提出的基于角点检测和孪生神经网络的多目标跟踪算法很好的完成了多目标跟踪任务。