论文部分内容阅读
图像分割任务是计算机视觉领域的基础研究任务与热点之一，图像中包含丰富多样的信息，人们往往对其中特定类型的信息感兴趣。基于深度神经网络的深度学习技术的发展给图像的各个领域带来了崭新的变化，打通了图像领域的多个子问题的研究方法。基于深度学习的图像分割技术是在基于卷积神经网络的图像分类网络的基础上发展而来，受到了学术界的广泛关注。深度神经网络强大的特征学习能力为解决图像领域的很多问题提供了新的解决思路。 本文主要研究人脸图像的精细分割与修复技术，关注于实际应用中的两个问题。第一个问题是遮挡场景下的人脸图像修复问题，主要关注身份证人证合一系统中的网纹遮挡问题。该问题的主要研究内容是如何通过深度网络将人脸图像上的遮挡信息分割出来，学习形状，粗细，样式随机而复杂的网纹遮挡分布，并且在原始遮挡图像上进行修补。预期目标是去遮挡之后获得清晰，具有较高辨识度的人脸图像，并且能够有效的提高遮挡场景下人脸识别算法的识别正确率。第二个问题是研究人脸图像的语义分割，增强通用图像分割模型的拓展性，对人脸图像上的五官进行精细分割。预期目标是在相关的主流数据集上取得较好的评测结果，满足实际应用的需要。本文的贡献主要有以下三点: 1.针对身份证图像上存在网纹遮挡的问题，本文提出了基于遮挡分割和后端修补的人脸图像修复算法。在遮挡分割阶段，设计了基于全卷积神经网络的遮挡分割算法，采用了小步长级联的反卷积上采样策略，对遮挡部位每个像素点的值进行基于L2损失的回归，既预测遮挡的位置，又预测遮挡的深浅。针对常见的大值回归任务中容易出现的梯度爆炸问题，本文对网络输出做了基于逻辑函数的非线性映射，将最后一层的输出约束在小值域范围内。针对训练数据不充足的问题，本文设计了基于遮挡模板和基于数学函数的两种数据生成方法。在后端修补阶段，采用了快速行进算法，能够对图像实现快速初步修复。此外，本文提出的遮挡分割方法，在多种遮挡类型上如网纹遮挡，眼镜遮挡，文字遮挡也能取得可观的分割效果。 2.针对修复结果的不平滑问题，本文进一步提出了端到端的人脸图像修复算法。具体设计了两种方案，基于多任务全卷积神经网络的算法和基于分块局部卷积的算法。基于多任务全卷积神经网络的算法能够借助图像的遮挡分割任务实现有效的遮挡去除，并且能够通过网络的自动学习实现人脸图像的自动平滑。基于分块局部卷积的算法能够有效的提高修复后图片的清晰度。本文提出的端到端的人脸修复算法易于转化为软件开发包，在真实的网纹遮挡场景中的人脸识别率能够取得约40％的提高。 3.针对人脸图像的语义分割问题，本文提出了基于不同尺度的由粗到精的二级网络框架，能够对头发，皮肤，眼睛，鼻子，嘴唇等部位进行有效分割。针对五官分割对边缘部分精细度要求高的特点，本文将基于条件随机场的边缘优化算法融合到网络里，能够实现端到端的自动优化。本文提出的方法在人脸语义分割的相关数据集上取得了与现有最好方法的可比性能。