论文部分内容阅读
当前,电力杆塔的巡检逐步从人工巡检转变为无人机巡检,对无人机拍摄到的大量图像以人工判读的方式分析和识别图像中部件的位置和缺陷类别,费时费力。基于机器视觉的目标检测技术已有多年研究,但由于杆塔图像中背景复杂、金具部件螺栓的尺寸占比小、以及存在许多相似的部件等问题,针对输电线路杆塔小部件螺栓缺陷的图像识别技术仍然具有挑战性。本文首先构建了一个包含各种场景的杆塔螺栓缺陷图像数据集,并使用目前最流行的目标检测方法Faster RCNN成功证明了利用深度学习解决输电线路缺陷部件识别任务的可行性。通过分析Faster RCNN算法识别检测的过程,笔者发现了该框架在螺栓部件识别任务中存在的不足之处,创新性地提出了多层特征融合、局部上下文信息融合以及注意力机制等针对性的解决方案,实现了远高于Faster RCNN的缺陷螺栓识别准确率。具体如下:(1)由于杆塔螺栓等部件在整幅图片中的占比很小,而Faster RCNN算法仅在最后一层卷积输出的特征图上提取前景目标,因此,造成小目标缺陷部件漏检。本文通过将特征提取网络中深层的特征图和浅层的特征图进行融合,构造出多个不同尺寸的新特征图,然后使前景提取网络在多个不同尺寸的新特征图上进行前景目标的提取,从而很大程度上减少了小尺寸缺陷螺栓的漏检问题。同时,为了解决由浅层特征图融合得到的新特征图因经过的卷积层较少而导致特征提取不够完整的问题,本文在前景目标分类和位置回归网络中加入了若干个残差块单元,很好地弥补了多层卷积特征图融合带来的不足。(2)Faster RCNN算法在对前景目标进行类别分类和位置回归时仅考虑目标方框以内的信息,造成很多缺陷部件误判的问题。本文通过融合目标方框和方框周围的上下文信息,构建了考虑部件局部上下文信息的识别网络,从而解决复杂背景和相似部件的影响。(3)针对CNN使用卷积运算提取特征时注意力资源平均分配的问题,本文通过使用注意力机制来加强图片中最具特点的区域,而抑制不重要区域,使有限的注意力资源更好地分配到关键信息的识别中,让模型像人类视觉注意力一样具有焦点。实验表明,加入注意力机制之后,模型会有更好的缺陷识别效果。通过验证,本文设计的最优模型对存在缺陷的螺栓识别平均精度(AP,Average Precision)比现有普遍使用的目标检测方法Faster RCNN提高了 11.4个点,提升率为18.4%。