论文部分内容阅读
在成像的过程中很多原因都会引起图像质量的退化,例如,成像系统的不完善引起的图像噪声,针对这种图像退化已经提出了比较完善的解决方法。本文主要解决由介质的变化而引起的图像退化。恶劣天气条件下的雾、雨以及雪等会不可避免的被成像设备所捕获。图像中物体的颜色,对比度等都会被这些天气因素所影响,尤其是雨和雪会遮挡部分图像内容,从而使得图像中所包含的信息发生不可逆的改变。这些退化不仅会影响图像的视觉质量;更重要的是它们会改变图像中所包含的重要信息内容,进而降低一些室外视觉系统以及一些计算机视觉算法的性能。所以恶劣天气条件下的图像增强/图像复原有着切实的应用价值。恶劣天气条件下的图像增强已经取得了明显的成果,但是这些成果大多集中于雾的去除,对于更加复杂的雨和雪的研究相对较少。现有的图像去雨、去雪方法主要基于滤波器、图像分解和深度学习,其局限性主要表现在以下两个方面:(1)雨雪不能被完全去除;(2)一些图像细节被错误地当成雨雪而去除。本文主要深入研究雨和雪在单张图像中的特点以及由它们所导致的单张图像的退化规律,通过传统的优化方法或者基于深度学习的方法消除天气因素对图像的退化从而生成清晰的图像。本文的主要研究内容和创新点总结如下:1.通过充分分析雨纹的外形特点,本文提出了一种准确的雨像素的定位方法。为了进一步实现单张图像去雨,本文从相机成像的物理过程出发推导出雨像素和对应背景像素强度之间的数学关系。通过结合雨像素的检测和雨的数学模型,建立并优化一个凸代价函数求解模型中的未知系数,然后利用已知的模型去掉图像中的雨纹。2.本文利用导向滤波器将雨雪图像分解为不包含雨雪的低频部分以及包含图像细节和雨雪的高频部分,然后在高频中提取图像细节从而实现单张图像上的去雨雪。但是对于高像素强度的雨雪,单纯的导向滤波无法实现将雨雪完全过滤到高频。因此本文引入基于雨雪共同特征的雨雪像素检测来辅助图像的高低频分解。本文建立了过完备的稀疏字典,设计了三层的非雨雪字典原子的识别和图像重建机制,用于提取高频中的图像细节,并通过将低频和重建的高频相加得到复原的清晰图像。3.在一些雨的条件下,图像中除了会呈现条形的雨纹之外,一些细小的雨会累积在一起形成似雾效应,这种效应会降低图像的对比度使得图像颜色变浅,颜色的恢复对于传统的优化算法来说是比较困难的。本文通过建立深度神经网络利用有监督的深度学习同时解决图像中的雨纹和似雾效应。具体来说,本文建立了一个新的模型来描述雨图像的形成过程。这个模型不仅模拟了雨图像中的雨纹,还利用一个变量模拟似雾效应。本文进一步建立了一个包含两个子网络的深度神经网络,通过联合训练这两个子网络分别捕获图像中的雨纹和似雾效应。为了控制去掉似雾效应的程度,加入了另一个子网络对去雨的结果进行优化,从而获得了不同视觉效果的去雨图像。4.雨图像可以看成是雨作为介质对大气光和背景的反射光散射衰减形成的。本文把雨按照性质的不同分成两个部分:一个是多变的雨纹,并用一个变量描述它对光的透射;另外一个是似雾效应,相比于雨纹似雾效应呈现相对稳定的特性,同样用一个变量模拟它对光的透射系数。基于雨对光的散射,本文建立了一个新的雨图像模型。围绕这个模型,本文设计了三个深度卷积神经网络分别学习模型中的三个参数来去除图像中的雨和似雾效应的影响。5.雨在梯度域有更加突出的特征,且与非雨的图像纹理有更加明显的区分。本文通过生成对抗网络将图像在梯度域和空间域中的信息相结合从而生成更好的去雨图像。在生成器中采用梯度辅助编码从而生成更有利于去雨的深度特征;在判别器中梯度作为额外的输入为判别器提供更加明确的雨和非雨的信息,从而增强判别器对于生成器产生的去雨图像和ground truth的区分能力。就深度网络结构而言,通过修改膨胀空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)网络结构来减少生成器产生的异常去雨结果。实验证明,提出的方法改善了去雨性能,提高了生成的去雨图像的视觉质量。6.本文研究了雨图像的一些本征特征。基于这些特征的概率分布,本文经过最大似然估计推导出反应雨图像本征特征的代价函数来优化深度神经网络。为了进一步改善网络性能,将卷积中的分组特征打乱扩展到不同尺度之间的特征打乱。与此相应本文提出了一个多尺度的辅助解码器结构,这个结构不仅促使网络学习到了更有利于去雨的深度特征,而且使得从不同的尺度空间解码去雨结果,方便了从客观指标和主观视觉质量两个方面深入研究不同尺度的特征对去雨结果的影响。