论文部分内容阅读
目标跟踪是计算机视觉中最重要的研究课题之一。目标跟踪存在诸多挑战,而遮挡是主要的挑战之一。因为目标遮挡使得响应图存在多峰值,所以会导致跟踪的不稳定。对于目标遮挡的准确判断会对滤波器的更新产生重要的影响。以往的目标跟踪算法大多采用多尺度的策略预测目标的尺度,未能充分考虑目标的高级特征。本文基于响应图的多峰值提出响应图质量评价函数解决目标遮挡时的不稳定跟踪问题,采用重叠最大化目标框估计深度神经网络解决目标尺度预测问题。本文的主要贡献如下:
首先,本文采用结构简单但性能高的ResNet-18 网络Block-3的深度特征作为提取的目标的特征。针对部分遮挡导致的响应图多峰值而引发的跟踪漂移问题,提出响应图质量评价函数来评价相关响应图的质量,并给出数学上的分析验证该函数的鲁棒性和准确性。基于提出的响应图质量评价函数,研究并提出一种遮挡判断准则。这有效解决目标遮挡问题,从而提高部分遮挡的跟踪鲁棒性。
其次,在复杂策略遮挡判断准则下,提出根据不同场景选择特定滤波器进行跟踪的方法。具体地,当判断出目标被遮挡时,使用一个遮挡处理的快速相关滤波器定位目标;为了增强遮挡情况跟踪的鲁棒性,添加一个具有两层卷积层的深度学习滤波器。使用快速在线学习算法——高斯牛顿共轭梯度算法优化深度学习滤波器。最后基于以上两种滤波器,采用线性融合的方法融合两者的跟踪响应图进行目标定位。
然后针对目标尺度更新,基于IoU-Net物体检测框架,研究目标尺度估计的深度神经网络架构——重叠最大化目标框估计网络。在此基础上,对重叠最大化目标框估计网络结构进行调整使其可准确预测遮挡情况的目标框,将测试分支分为一般场景预测和遮挡场景预测的两个分支。在大规模目标跟踪数据集上交替训练重叠最大化目标框估计网络。在线跟踪时,目标尺度的预测由重叠最大化目标框估计网络的测试分支进行预测。首先使用测试分支得到预测框的IoU(交并比),然后使用梯度提升算法最大化预测出的IoU,最后得到目标框。
最后进行实验验证与分析。本文采集了20个具有遮挡场景的视频组成遮挡场景数据集,在遮挡场景数据集和OTB100数据集上进行自身对比实验和与5个先进算法的横向对比实验。给出定性和定量的比较结果。同时,本文的抗遮挡目标跟踪算法在GTX1060 GPU上达到22FPS的速度。结果表明,本文提出的抗遮挡算法在遮挡挑战上具备一定的鲁棒性和准确性,在实际场景中可以达到较好的跟踪效果。
首先,本文采用结构简单但性能高的ResNet-18 网络Block-3的深度特征作为提取的目标的特征。针对部分遮挡导致的响应图多峰值而引发的跟踪漂移问题,提出响应图质量评价函数来评价相关响应图的质量,并给出数学上的分析验证该函数的鲁棒性和准确性。基于提出的响应图质量评价函数,研究并提出一种遮挡判断准则。这有效解决目标遮挡问题,从而提高部分遮挡的跟踪鲁棒性。
其次,在复杂策略遮挡判断准则下,提出根据不同场景选择特定滤波器进行跟踪的方法。具体地,当判断出目标被遮挡时,使用一个遮挡处理的快速相关滤波器定位目标;为了增强遮挡情况跟踪的鲁棒性,添加一个具有两层卷积层的深度学习滤波器。使用快速在线学习算法——高斯牛顿共轭梯度算法优化深度学习滤波器。最后基于以上两种滤波器,采用线性融合的方法融合两者的跟踪响应图进行目标定位。
然后针对目标尺度更新,基于IoU-Net物体检测框架,研究目标尺度估计的深度神经网络架构——重叠最大化目标框估计网络。在此基础上,对重叠最大化目标框估计网络结构进行调整使其可准确预测遮挡情况的目标框,将测试分支分为一般场景预测和遮挡场景预测的两个分支。在大规模目标跟踪数据集上交替训练重叠最大化目标框估计网络。在线跟踪时,目标尺度的预测由重叠最大化目标框估计网络的测试分支进行预测。首先使用测试分支得到预测框的IoU(交并比),然后使用梯度提升算法最大化预测出的IoU,最后得到目标框。
最后进行实验验证与分析。本文采集了20个具有遮挡场景的视频组成遮挡场景数据集,在遮挡场景数据集和OTB100数据集上进行自身对比实验和与5个先进算法的横向对比实验。给出定性和定量的比较结果。同时,本文的抗遮挡目标跟踪算法在GTX1060 GPU上达到22FPS的速度。结果表明,本文提出的抗遮挡算法在遮挡挑战上具备一定的鲁棒性和准确性,在实际场景中可以达到较好的跟踪效果。