论文部分内容阅读
在自动驾驶系统中的街景识别与场景理解、无人飞行器对航片进行分析和物体避障,以及其他消费级AI终端中,图像语义分割都起着举足轻重的作用。图像语义分割作为计算机视觉中图像理解的重要一环,不仅是当前专家学者争相探究的焦点,也是人们加深图像理解的必要途径,更是计算机视觉领域不可或缺的一个重要组成部分。相比较于传统的图像语义分割方法,无论是繁琐的算法流程还是复杂的特征提取方式,都没有基于卷积神经网络的提取方法适用。本文在分析和总结了现有的语义分割方法之后,根据ResNet-101基础网络,设计了基于空洞卷积和多层特征融合的图像语义分割网络模型,然后结合条件生成对抗网络,将其作为生成网络模型,利用生成对抗的思想训练语义分割网络,进一步优化语义分割模型的效果。本文所做的主要工作如下:(1)对传统图像分割方法与基于深度学习的图像语义分割的发展和现状进行了总结归纳,围绕图像语义分割涉及到的相关技术进行了阐述,包括神经网络技术、卷积神经网络技术和生成对抗技术,并介绍了语义分割常用的数据集和评价指标。(2)设计了一种基于空洞卷积和多层特征融合的语义分割方法。以ResNet-101网络作为编码器基础网络,利用空洞卷积来提取更多上下文信息,以保持特征分辨率和获取更大的局部感受野,并且在解码器部分设计一种多层特征融合方式,来充分利用各层级特征,增强特征点的表征能力,使之对图像像素点分类效果更好。(3)将生成对抗网络的思想运用在图像语义分割上,设计了一种基于条件生成对抗网络的语义分割模型。该模型以基于空洞卷积和多层特征融合的语义分割网络模型作为生成网络,并加入真实标记图作为条件约束,利用对抗学习思想训练语义分割网络,进一步优化模型效果。由于在训练过程引入了真实标记图,加强了像素之间的空间关联性,使得生成模型对于图像中的小目标的分割更加准确。