论文部分内容阅读
目标跟踪任务作为计算机视觉领域的基础课题,具有巨大的研究价值和应用前景。近些年深度学习技术日渐成熟,助力计算机视觉各个领域实现了突破。孪生网络就是一种充分发挥深度网络端到端输出优势的目标跟踪算法框架,在性能上有着平衡的表现,和可供发掘的研究潜力。但由于取消了在线更新的机制,其在跟踪时的表现往往受限于提取特征的判别能力,对特征提取的过程做出改进可以进一步提高算法的预测精度。此外深度卷积神经网带来的庞大计算量与参数量使其往往受限于GPU等硬件平台,为了更好的将其应用于场景中,有必要针对其算法结构进行硬件上的加速设计。本文设计了一种基于孪生网络的目标跟踪算法,采用全卷积孪生网络进行特征提取,随后连接区域推荐网络,通过两个支路分别对候选区域进行前后景的分类及边框形状的回归。为了获得更鲁棒且表征能力更强的深度特征,本文做出了如下改进:对包含不同信息的卷积层特征进行了融合,并通过注意力机制为特征通道自适应的分配权值,使模型面对目标时聚焦于更重要的信息;为了进一步提高跟踪精度,将前一级区域推荐网络的输出结果作为下一级区域推荐网络的预设框输入,进行更精确的修正。此外,本文还基于目标跟踪模型和FPGA进行了卷积神经网络加速器的设计。通过模式配置器、数据调度模块、高并行卷积计算阵列、卷积结果处理模块等单元实现了对卷积神经网络前向传播过程的加速,充分利用了板上资源,提高了计算效率。最后基于FPGA搭建了目标跟踪算法的验证系统,在软硬件协同控制下实现了目标跟踪。实验结果表明,本文设计的目标跟踪算法在OTB2015数据集上的重叠成功率可达0.624。基于ZYNQ XC7Z035开发板设计的卷积神经网络加速器有效算力可达128GOPS,验证系统在输入图片尺寸为255×255时运行速度可达到13帧每秒。本文对未来基于卷积神经网络的目标跟踪算法研究及系统实现具有一定的参考价值。