基于孪生网络的视频目标跟踪方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:oskarguan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,人们获取信息的途径逐渐从二维图像发展到视频序列。作为视频序列处理的一个分支,目标跟踪在军事、工业及民用领域都具有较大的应用价值。视频目标跟踪相对于其他计算机视觉任务而言,其场景更加复杂,面临的挑战更多,且需满足精度和实时性的双重需求。传统的目标跟踪方法往往因为处理场景简单、精度低、实时性差,使得其实际应用受到了较大的限制。近年来,基于深度学习的目标跟踪技术由于其良好的性能,已成为研究热点,并逐渐受到研究人员的广泛关注。在诸多深度学习算法中,基于孪生网络的目标跟踪算法是最典型也是最成功的代表之一,它通过离线训练跟踪器,学习相似性度量函数,在线跟踪过程中由于不更新权值,大大提升了跟踪算法的实时性,近几年取得了长足的发展。本文主要围绕基于孪生网络的视频目标跟踪方法展开研究,以全卷积孪生网络SiamFC为基础,针对SiamFC存在的目标边界框回归不准确、泛化能力弱、语义信息不明确等关键问题,提出了相应的改进方案,同时对孪生网络的语义信息进行了可解释性分析。论文的主要研究内容和成果如下:1.针对SiamFC目标框回归不准确的问题,在SiamFC算法的基础上,引入了五种不同的损失函数,以及三种不同的掩码矩阵,在VID数据集上进行训练,然后在OTB100和VOT2016数据集上评价跟踪效果。实验结果表明,采用Smooth L1损失函数结合矩形掩码矩阵可以有效辅助目标框的定位,而联合损失函数则可以有效解决样本分布不均衡问题。2.针对SiamFC泛化能力弱、跟踪精度低的问题,本文采用AlexNet-5和CIResNet22两种结构作为SiamFC的骨干网络,并通过在骨干网络中分别加入SEBlock和CBAM-Block两种注意力模块,研究注意力机制在孪生网络中的有效性。实验结果表明,在深层骨干网络中加入注意力机制能有效提升SiamFC的泛化能力。此外,采用深层残差网络作为骨干网络以及增大训练集规模的策略,也可以有效提升SiamFC的泛化能力。3.针对SiamFC语义信息不明确的问题,本文分别从网络可视化和特征量化分析的角度,对SiamFC的语义信息进行了可解释性分析。从可视化角度出发,对SiamFC骨干网络中的每层特征图进行了可视化分析;从特征量化分析角度出发,利用VID和GOT10K数据集,统计分析了孪生网络不同通道对不同类别目标产生的响应分布规律。实验结果表明,孪生网络的特定通道可以对特定类别的目标产生强响应。此外,数据集不同、分类标准不同、以及数据分布差异都会对孪生网络的通道响应产生影响。本文工作对SiamFC存在的边界框回归不准确、泛化能力弱、语义信息不明确等关键问题,提出了详细的改进方案,同时对SiamFC中包含的语义信息进行了可解释性分析。实验表明,本文提出的算法能够有效提升SiamFC的边界框定位准确性和泛化能力,并通过解释孪生网络SiamFC的内部机理,为视频目标跟踪领域的可解释性研究奠定了基础。
其他文献
随着无人机技术的快速发展,面对来自非法无人机黑飞事件的威胁,低空防御越来越被各个国家所重视。低空防御导弹是低空防御方式的一种重要手段,而其制导系统是完成精确打击的关键。对于低空飞行目标而言,其具有体积小、机动性强、速度慢等特点,这给低空防御导弹制导带来了挑战。对此,本文主要针对低空飞行目标“低小慢”的特点,展开了小型低空防御导弹制导系统设计与研究。论文的主要工作如下:(1)阐述了低空防御导弹制导系
云计算凭借丰富的资源为云用户提供计算和存储服务,打破了云用户本地资源的限制。但是,云是不完全可信的,为了保护用户的数据不被非授权的实体访问,云服务器一般会部署访问控制机制。然而,随着社会协作的不断加强,一些数据不仅仅和一个数据拥有者相关,有时会涉及到多个数据拥有者。例如,某些数据(例如,病毒的DNA库)可能会经过多轮的数据处理,即第一层拥有者将数据授权给一些用户去访问,其中某个授权用户结合自己的数
随着国家教育资源的投入,我国城镇中小学的校园环境及教育设施得到了很大的改善,其中,高校附属学校的发展也抓住了机遇,然而仍有部分高校的附属学校的校园建设面临相应的问题
融资与投资一直是财务管理领域的研究重点。近年来,“提高直接融资比重”多次在全国性重大会议上被提及,这为新时代我国资本市场的发展指明了方向。2007年,《公司债券发行试
物联网等新型业务的出现和发展,向网络提出了越来越高的要求,5G网络需要满足高带宽、低时延、海量连接的需求。移动边缘计算作为5G的一项核心技术,通过在移动网络边缘向用户提供云计算能力,有效降低了网络时延,改善了终端用户体验。然而在移动边缘计算环境中,用户移动性是一个不可忽视的因素,移动性管理是一个亟待解决的问题。服务迁移是一种有效的移动性管理方式。通过执行服务迁移,使得用户与服务的距离始终保持在一个
图的一些拓扑指标一直以来在计算机科学、医学、化学中都有很强的应用性.简单连通图G的第一Multiplicative Zagreb指标Π1是指每个顶点度的平方的乘积,第二Multiplicative Za
近几十年来锂离子电池由于具有高能量和功率密度在商业上得到了广泛应用。但是,锂资源的有限储量和分布不均限制了锂离子电池在大规模储能方面的应用。钾资源丰富,电化学性能同锂相似,钾离子电池已经成为锂离子电池最有前途的替代品。但是,由于缺乏合适的负极材料,钾离子电池的实际应用还有很长的路要走。科学家们已经研究了多种负极材料,包括硬碳,软碳,过渡金属硫化物/氧化物,合金材料等用于钾离子电池的负极。合金材料中
基于内容的海量高频信息分发系统可以实现通信双方在空间和时间上的完全解耦,通过信息分发系统,人们能够在从海量数据中快速准确获取自己感兴趣的消息。对于信息分发系统,事
随着移动数据流量急剧增长,运营商通过密集化部署小站(Small Base Station,SBS)以满足网络峰值业务量需求,因此一个远程服务器下的小站数和用户数越来越多。用户的内容请求需要基站使用回程链路从远程服务器获取,然而回程链路资源的有限性可能无法及时满足所有用户需求,限制网络性能和用户体验质量的提升。由于网络中存在许多相同内容的重复请求,重复传输相同内容不仅浪费基站有限的带宽资源,而且用户
金刚石线锯切割技术是用于硬脆材料切割加工的新兴技术,可广泛用于单晶硅的切片工序,具有切割效率高、切片损耗小、切片精度高等优点。切片是把硅棒变成硅片的一个重要工序,硅片质量的好坏直接影响着后续的加工成本。为了进一步降低成本,提高切片表面质量,尝试将微量润滑技术应用于线锯切割中,前期预研实验表明微量润滑技术能提高线锯切割效率,降低切片表面粗糙度。因此有必要对微量润滑线锯切割进行深入研究。为进一步分析微