论文部分内容阅读
图像作为承载信息的重要载体，时刻影响着人类日常生活。阴天、夜晚、黄昏等自然环境的影响以及视觉遮挡、图像采集设备标准不一、摄影技术参差不齐等客观因素造成的暗光图像往往是低质的。一方面，影响人眼视觉体验，另一方面，会限制计算机视觉系统的性能。因此，对暗光图像增强展开研究，解决复杂照度下的暗光图像对比度低、场景纹理细节丢失、色彩失真、噪声等级高以及轮廓模糊等问题，为目标识别与追踪、视频后期处理等任务提供数据质量保障，具有重要的理论意义与实际应用价值。本文首先介绍了暗光图像增强以及卷积神经网络的基本理论，其次分析了现有的基于传统方法与基于深度学习的暗光图像增强算法的优缺点，在现有方法的基础上，针对其存在的不足，提出了三种针对暗光图像增强的方法。本文的具体研究内容如下：
（1）针对暗光图像增强过度以及色彩失真等问题，提出了基于HSV空间改进的暗光图像增强方法。RGB空间的三个颜色通道与亮度相关性较强，图像增强过程随着亮度的改变会引起颜色分量比例发生变化，易导致颜色失真。HSV空间更符合人眼视觉特性，在其理论基础上进行改进，设计一个新型的亮度调节模型。针对图像增强过度问题，本文设计了一个自适应亮度调节函数，对暗光图像暗区亮度自适应增强，其余亮度充足区域则线性保持。实验结果表明，新型亮度调节模型与自适应亮度调节函数的合力，能有效改善图像增强过度现象，在色彩饱和度上有较好的保持效果。此外，除了能解决暗光图像增强问题，还能兼顾到自然图像。
（2）针对传统算法能选择的图像数量有限、参数泛化能力差，对极低照度环境下的图像的噪声抑制性能不佳等问题，本文提出了一种基于卷积神经网络的暗光图像增强算法，构建一种集分解、恢复、调节为一体的新型网络架构。将图像分解成包含物体本身属性的反射图和包含光照信息的光照图，现有的许多基于卷积神经网络的暗光图像增强算法往往对分解出来的光照图进行亮度增强，然后将处理后的光照图与反射图进行图像重建，这样的算法容易受到图像原本光照的影响，导致增强的结果出现过暗或过亮现象，图像易缺乏真实性。本文同时处理分解得到的反射图与光照图，在反射图上去噪，在光照图上沿用（1）中的亮度自适应调节思想。采用高光图反射分量作为去噪参考，使用U-Net网络在反射图上去噪，用深度可分离卷积代替U-Net中部分传统卷积，可降低计算成本的同时有效抑制噪声，并添加色彩饱和度模块最大程度地保留图像恢复过程中的颜色等细节。用户可依据自己喜好自适应调节光照图亮度。实验表明本文方法可有效抑制噪声，改善图像质量，避免图像颜色失真。
（3）大部分算法只能处理特定照度下的暗光图像，缺乏能高效率解决复杂照度下产生的暗光图像增强算法，针对这一现象，本文提出了复杂照度下的暗光图像增强方法。沿用（2）中的大框架，在分解网络中使用分割更为优异的UNet++对图像进行分解，将原始暗光图像一起作为恢复网络的输入可提取更多的原始图像特征信息，恢复网络部分设计一个由注意力机制引导的UNet++生成器来修复暗光缺陷，并设计一个色彩损失函数来保持图像颜色。在光照图上，设计自适应调节网络，旨在将低光照明条件转换成高光照明条件，设计由全卷积组成的网络进行特征提取并在其融入保持位置关系的思想策略，使运算集中在纹理细节以及色彩提升上而非尺度上的变化。实验结果表明，该方法对暗光图像增强效果显著，亮度增强幅度适宜、图像色彩饱和度高、纹理细节清晰、边缘细节精细、噪声抑制性能强，同时还能较好地增强各种复杂照度下的暗光图像。
（1）针对暗光图像增强过度以及色彩失真等问题，提出了基于HSV空间改进的暗光图像增强方法。RGB空间的三个颜色通道与亮度相关性较强，图像增强过程随着亮度的改变会引起颜色分量比例发生变化，易导致颜色失真。HSV空间更符合人眼视觉特性，在其理论基础上进行改进，设计一个新型的亮度调节模型。针对图像增强过度问题，本文设计了一个自适应亮度调节函数，对暗光图像暗区亮度自适应增强，其余亮度充足区域则线性保持。实验结果表明，新型亮度调节模型与自适应亮度调节函数的合力，能有效改善图像增强过度现象，在色彩饱和度上有较好的保持效果。此外，除了能解决暗光图像增强问题，还能兼顾到自然图像。
（2）针对传统算法能选择的图像数量有限、参数泛化能力差，对极低照度环境下的图像的噪声抑制性能不佳等问题，本文提出了一种基于卷积神经网络的暗光图像增强算法，构建一种集分解、恢复、调节为一体的新型网络架构。将图像分解成包含物体本身属性的反射图和包含光照信息的光照图，现有的许多基于卷积神经网络的暗光图像增强算法往往对分解出来的光照图进行亮度增强，然后将处理后的光照图与反射图进行图像重建，这样的算法容易受到图像原本光照的影响，导致增强的结果出现过暗或过亮现象，图像易缺乏真实性。本文同时处理分解得到的反射图与光照图，在反射图上去噪，在光照图上沿用（1）中的亮度自适应调节思想。采用高光图反射分量作为去噪参考，使用U-Net网络在反射图上去噪，用深度可分离卷积代替U-Net中部分传统卷积，可降低计算成本的同时有效抑制噪声，并添加色彩饱和度模块最大程度地保留图像恢复过程中的颜色等细节。用户可依据自己喜好自适应调节光照图亮度。实验表明本文方法可有效抑制噪声，改善图像质量，避免图像颜色失真。
（3）大部分算法只能处理特定照度下的暗光图像，缺乏能高效率解决复杂照度下产生的暗光图像增强算法，针对这一现象，本文提出了复杂照度下的暗光图像增强方法。沿用（2）中的大框架，在分解网络中使用分割更为优异的UNet++对图像进行分解，将原始暗光图像一起作为恢复网络的输入可提取更多的原始图像特征信息，恢复网络部分设计一个由注意力机制引导的UNet++生成器来修复暗光缺陷，并设计一个色彩损失函数来保持图像颜色。在光照图上，设计自适应调节网络，旨在将低光照明条件转换成高光照明条件，设计由全卷积组成的网络进行特征提取并在其融入保持位置关系的思想策略，使运算集中在纹理细节以及色彩提升上而非尺度上的变化。实验结果表明，该方法对暗光图像增强效果显著，亮度增强幅度适宜、图像色彩饱和度高、纹理细节清晰、边缘细节精细、噪声抑制性能强，同时还能较好地增强各种复杂照度下的暗光图像。