论文部分内容阅读
随着互联网的快速发展和图像采集设备的日益普及，视频图像数据呈现出爆炸式增长的趋势。对于海量的图像数据，如何高效准确地从中获取与用户查询相关的目标信息，是大规模目标检索的关键性问题，也是学术界和工业界共同关注的研究热点。目标检索两大核心要素在于高效的目标特征表示和有效的特征距离度量。特征表示学习旨在从图像中学习具有判别力的目标特征。而度量学习致力于学习一种特征之间的距离度量来有效地反应目标之间的语义相似性。 传统的目标检索方法通常采用基于人工设计的图像特征来描述目标，然而这种底层的图像特征不足以描述目标丰富的高层语义内容，形成了“语义鸿沟”。此外，传统的目标检索方法通常将特征提取和距离度量分为单独两个步骤，实际上，高效的特征表示可以降低度量学习的难度，而有效的度量学习也有助于学习更具有判别力的特征表示。针对传统目标检索方法的不足，考虑到卷积神经网络(Convolutional Neural Network，简称CNN)在视觉识别任务中的优势，本文分别从特征表示和度量学习的角度展开深入研究，提出了多种基于CNN的目标检索方法，显著提升了大规模目标检索的性能。一方面，CNN可以从图像中提取出丰富的语义信息，从而学习到语义层级更高的特征表示。另一方面，通过设计合理的CNN网络结构和监督损失函数，可以将特征表示和度量学习纳入一个端到端的学习框架，从而同时学到更具有判别力的特征表示和更有效的距离度量。 本文主要研究内容和贡献归纳如下: 1.针对基于CNN提取的高维特征导致大规模目标检索效率低下的问题，本文提出了一种基于紧凑特征表示学习的目标检索方法。该方法通过自动编码机将CNN提取的高维特征压缩为低维二值的紧凑特征编码。在此基础上，本文采用引导聚焦算法（Bootstrap aggregating，简称Bagging）来组合多个自动编码机，从而有效减小泛化误差，并且进一步提升了目标检索的准确度。此外，Bagging自动编码机适合于并行计算，保证了训练和检索的效率。实验结果表明，该方法在尽量不降低检索精度的前提下可以显著加快目标检索的速度。 2.针对基于语义类别分类训练的CNN对目标颜色属性描述力不足的问题，本文提出了一种基于多深度卷积特征学习的目标检索方法。具体来说，本文设计了一种颜色CNN来提取目标的深度卷积颜色特征，与传统颜色特征相比，该特征更具有颜色描述力和判别力。然后将其与基于语义类别分类训练的CNN提取的深度卷积结构特征进行有效融合，从而形成多视角全面综合的目标特征表示。实验结果表明，本文提出的这种基于颜色属性和结构属性协同表达的目标检索框架，能够有效提升单一深度卷积特征的目标检索性能。 3.针对多视角三维目标检索任务中，基于分类损失监督训练的CNN提取的目标特征判别力不足的问题，本文提出了一种基于深度映射网络的多视角三维目标检索方法。具体来说，本文设计了一种基于分类损失和三元组损失联合优化的深度映射网络，可以将目标图像映射到一个欧式度量空间，使得特征之间的欧氏距离可以直接反应目标之间的语义相似性。基于此，深度映射网络的学习过程等价于特征表示和距离度量端到端的学习过程，因此该方法可以同时学到更具判别力的特征表示和更高效的距离度量。实验结果表明，该方法以12％的性能提升超过了当前最好的三维目标检索方法。 4.针对车辆检索任务中复杂的类内类间差异，本文提出了一种基于结构化特征度量学习的车辆检索方法。具体来说，本文设计了一种层级式排序损失，可以将同一辆车的图像紧凑地聚集到一起，同时有效增大不同车辆以及不同车型之间的间距。基于该损失的监督，CNN能够由粗到细地学到一个结构化特征度量空间，使得特征之间的类内紧凑性和类间判别性得到有效增强，从而刻画出车辆图像之间多层级的语义相关性。实验结果表明，该方法可以将之前最好的车辆检索方法的性能提升约10％。与此同时，本文还发布了一个当前最大的车辆检索数据集，包含了不同光线、视角、监控场景下拍摄的近一百万张车辆图片，将有效推动车辆检索领域的研究进展。