弱监督显著性细粒度图像分类算法的研究与实现

• 作 者: 陈仿雄
• 出 处: 广东工业大学
• 发表日期: 2019年01期
• 关键词: 卷积神经网络 细粒度 弱监督 显著性图

细粒度图像分类任务是计算机视觉研究领域快速发展的子领域,其分类旨在区分各种从属类别之间的微小区别,如区分不同车辆型号,不同种类的鸟等。由于细粒度图像主要表现为子类别之间的类间差异小和类内差异大的特征,使得目前相关研究在很大程度上依赖关键点的标注或者局部注释信息,增加了对人工数据标注的依赖,限制了在实际应用的可行性。因此本文重点研究基于弱监督方法,在不需要额外的人工标注信息的前提下,主要研究以下几点内容:(1)在本文中为了验证显著性图,对于提高深度神经网络分类准确度的影响。提出一种二分支网络融合结构,由一个分支提取原图特征,另一个分支用于处理相对应的显著性图,这些图像是预先计算并作为输入给出的。在融合层进行融合后,采用Inception_V3作为基础的特征提取网络模型,在CUB-200-2011数据集上进行验证,细粒度图像分类的准确度提高了5%左右。(2)在缺少额外的物体位置标注信息或者关键点信息的情况下,采用弱监督的方法,仅仅利用图像类别标签,采用Grad-CAM算法获得CNN网络结构最后一层卷积层的显著性图。针对显著性图,本文提出一种新的局部关键区域定位的方法,能够准确定位和提取出最具有区别的局部区域,降低人工标注信息的依赖。(3)为了更好利用全局特征和局部特征信息,本文提出一种基于Inception_V3的双线性深度神经网络,由上层网络负责提取图像局部区域的特征,下层网络负责提取图像的全局特征。将全局和局部特征联合训练,构建层次的损失函数对模型进行交替训练。在公开的细粒度数据集进行验证,结果显示本文提出的模型在分类性能上接近最新的相关研究成果,能够在不同的数据集中都有不错的分类准确度,具有一定的鲁棒性。并且在实际车辆检测项目,对于车辆类型、车辆品牌以及车辆型号分类结果都获得了超过90%的准确度,具有较强的实用性。本文基于弱监督方法,降低人工标注的依赖为出发点,提出一种新的细粒度图像分类模型,在公开数据集中虽取得不错的分类效果,但未来需进一步实现端对端训练,以及面对上千目标类别需更进一步提高分类的准确度。