论文部分内容阅读
摘要：对于一些高级的图像处理任务，如图像分割而言，输入的图像质量会严重影响到效果。云雾天气作为常见的天气现象，往往会导致得到的图像充满白雾，另外由空气质量日益恶化导致的雾霾也时不时出现在人们的视野。这些现象导致现实中得到的图像质量往往不能够满足高级任务的需求，因此图像去雾成为广受关注的研究领域。本文首先介绍了大气成雾模型，接着介绍了几种基于此的图像去雾算法，并进行比较。
关键词：图像处理;图像去雾;深度学习
1.图像去雾简介
1.1概述
雾，作为人们生活中一种常见的大气现象，经常会给生活带来各种各样的麻烦。雾气导致能见度降低，使得交通受阻，人们的出行受到影响。同样地，雾气不仅对于人眼的视觉有影响，对于相机和机器的视觉及理解也有非常大的影响。对于许多高级的计算机视觉任务，如图像分割，目标检测等，常见的落地应用都是摄像头，监控视频等依赖现实条件的场景。在这些使用场景中，图像质量往往难以得到保证，雨雾天气的出现导致计算机无法获得清晰的图像，从而影响到任务精度。基于此，人们展开了对于图像去雾算法的研究。图像去雾算法主要可以分为基于图像增强的去雾算法和基于图像复原的去雾算法，本文对第二种进行介绍。
1.2大气散射模型
在雾天里，空气中充满着许多小颗粒，这些小颗粒会导致物体反射的光线发生散射，使得摄像头采集不到完整的反射光线，这也就是在雾天我们会在物体前面看到一层白雾的原因。这些大气介质中存在的小颗粒使得光线散射的物理过程变得非常复杂，为了刻画这种现象，大气散射模型被提出：，其中I（x）代表摄像头采集到的图像，即为有雾图， A为全球大气光强， J（x）是无雾图像，t（x）是透射率，这里d（x）是景深，β是散射系数。我们的目标就是根据有雾图像I（x）来求出无雾图像J（x）。注意到这里仅有I（x）是已知的，其他量均为未知数，故是一个欠定问题，需要使用物理先验来求解。
2.基于物理先验的去雾算法
由于大气散射模型是一个欠定的问题，无法直接求解，所以有许多根据物理先验求解的去雾算法，如何凯明等人暗通道先验（Dark Channel Prior，DCP）方法，Tan等人最大对比度（Maximum Contrast，MC）方法，Zhu等人的颜色衰减先验（Color Attenuation Prior，CAP）方法， Ancuti等人的色度不一致方法。下面重点介绍暗通道先验法和非局部方法
2.1暗通道法
通过大量的观察和统计经验发现，在户外的无雾图像中，在大部分非天空区域里，至少有一个图像通道是很小一个数或者趋近于零，因此可以得到这样一个式子：
首先对图像每个像素取三通道中的最小值，得到一个单通道图，然后对该单通道图做最小值滤波就得到了暗通道图 。作者认為，造成这个现象的原因主要有三点，一是各类物体的阴影，玻璃;二是彩色物体的表面，如花草树木，蓝色的水面，三是黑色物体表面，如树干，石头等。在这些位置，图像总是存在一个值很小的通道。根据这个物理先验，就可以对大气散射模型进行求解。首先将大气散射模型改写为
上标c代表rgb三通道。进一步假设每个滤波窗口内的透射率t（x）是常数，记为t?（x），然后对方程两边同时计算暗通道，即作两次最小值运算，得到
根据暗通道先验，J趋近于零，这样就得到了透射率的估计值：
2.2非局部法
非局部法基于的物理先验是，无雾图像一般能由几百个不同的颜色像素点很好地估计，这些点在RGB空间里形成紧密的聚类，而在有雾图像中，一个聚类会被散射成一条线的形状，称作雾线。注意每条雾线上的点可能分布在图片的很多区域，由景深的不同，导致每个像素点被不同程度地散射。因此根据这些散射得到的RGB空间中的线，就可以估计出图片的景深，进而求解大气散射模型。
非局部法的去雾流程如下：首先求得雾线
然后将原本的RGB坐标归一到以大气光强A为原点，接着变化为球坐标：
在球坐标系里我们定义，改变传输系数t仅仅影响r（x），不会影响角度，也就是说，在球坐标中具有相同角度的像素，他们在无雾图中具有相同的RGB值。因此，如果角度相同，像素属于同一条雾线，在每一根雾线里的像素，有很大的概率在无雾图中具有相同的值。进一步，假设距离大气光A最远的像素是无雾的，这样的像素 存在于每一条雾线里，这种假设对于整张图片是不成立的，因此需要正则化步骤来补偿
接下来，通过最小化下列方程，就可以得到透射率t（x），进而求解大气散射模型。
3.基于深度学习的去雾算法
在深度学习的浪潮掀起以后，图像去雾领域同样出现了大量深度学习的方法，前期主要还是基于大气散射模型的方法，通过神经网络估计透射率t（x），后期出现了一些端到端的模型，通过输入有雾图可以直接得到无雾图像，以便与后续处理相拼接，下面主要介绍两种方法
3.1 DehazeNet
DehazeNet是一种对传输图进行估计的网络，专门设计了用于体现了图像去雾先验的网络结构，具有比之前方法更高的性能，同时保持高效和易用。如图表一所示是DehazeNet的结构示意图。
DehazeNet是一个由四层结构组成的网络，第一层是特征提取层，由卷积+Maxout组成，并且可以证明不同的卷积对应着不同的物理先验，从而深度学习方法与传统方法被联系在一起了。第二层是多尺度映射，由多个不同尺寸的卷积共同作用，从而增强特征在不同尺度下的鲁棒性。第三层是局部极值，这是一个常规操作，可以约束透射率的局部一致性，有效抑制估计噪声。最后一层是非线性回归，DehazeNet使用了一个新的激活函数BReLu，在ReLU的基础上增加了上界约束，保证局部的线性性。 3.2 AOD-NET
与DehazeNet不同，AOD-NET是一种端到端的轻量化网络，通过输入一个有雾图像直接输出无雾图像，而不依赖于单独的参数估计步骤，这样就能与其他高级视觉任务直接相连。首先将大气成雾模型改写：
这样，t（x）和A都被集成到新变量K（x）中，因此我们的目标是构建输入自适应深度模型，其参数将随有雾图像而变化，从而最小化输出J（x）与真实图像之间的误差。
AOD-NET的网络结构由两个模块组成，分别是一个K（x）估计模块，通过输入有雾图I（x）输出K（x），和一个根据改写的成雾模型生成清晰图的模块。在K估计模块中使用了多尺度特征，并且每个卷积层只使用三个卷积核，使得整个网络非常轻量。AOD-NET还能与高级视觉任务如目标检测等直接相连，例如与经典的Faster R-CNN相连接，能够提高雾天下目标检测的准确性。
结语
图像去雾是一项具有重要现实意义的工作，与各种高级视觉任务的性能息息相关。随着各种各样基于物理先验和基于深度学习的方法的提出，该领域变得越来越丰富多彩，然而还存在着大量待解决的问题，如天空区域难以处理，室内场景的去雾难以实现等。图像去雾是一件充满挑战和重要性的工作，仍等待着聪明的头脑与辛勤的劳动投入其中。
参考文献
[1] Single image haze removal using dark channel prior. He K，Sun J，Tang X. IEEEConference on Computer Vision and Pattern Recognition . 2009
[2] Non-Local Image Dehazing. Dana Berman，Tali Treibitz，Shai Avidan. CVPR . 2016
[3]Dehaze Net：an end-to-end system for single image haze removal. Cai B L，Xu X M，Jia K.et al. IEEE Transactions on Image Processing . 2016
[4]AOD-Net：All-in-one dehazing network. Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，Dan Feng. IEEE International Conference on Computer Vision . 2017
[5]高原原，馬超，潘博文.视觉物联网中图像去雾方法研究综述与展望[J].信息通信技术与政策，2019（04）：6-11.
作者简介：张涵，（1999.11—），男，江西省抚州市人，湖北省武汉市武汉大学信息与计算科学专业，本科生
关键词：图像处理;图像去雾;深度学习
1.图像去雾简介
1.1概述
雾，作为人们生活中一种常见的大气现象，经常会给生活带来各种各样的麻烦。雾气导致能见度降低，使得交通受阻，人们的出行受到影响。同样地，雾气不仅对于人眼的视觉有影响，对于相机和机器的视觉及理解也有非常大的影响。对于许多高级的计算机视觉任务，如图像分割，目标检测等，常见的落地应用都是摄像头，监控视频等依赖现实条件的场景。在这些使用场景中，图像质量往往难以得到保证，雨雾天气的出现导致计算机无法获得清晰的图像，从而影响到任务精度。基于此，人们展开了对于图像去雾算法的研究。图像去雾算法主要可以分为基于图像增强的去雾算法和基于图像复原的去雾算法，本文对第二种进行介绍。
1.2大气散射模型
在雾天里，空气中充满着许多小颗粒，这些小颗粒会导致物体反射的光线发生散射，使得摄像头采集不到完整的反射光线，这也就是在雾天我们会在物体前面看到一层白雾的原因。这些大气介质中存在的小颗粒使得光线散射的物理过程变得非常复杂，为了刻画这种现象，大气散射模型被提出：，其中I（x）代表摄像头采集到的图像，即为有雾图， A为全球大气光强， J（x）是无雾图像，t（x）是透射率，这里d（x）是景深，β是散射系数。我们的目标就是根据有雾图像I（x）来求出无雾图像J（x）。注意到这里仅有I（x）是已知的，其他量均为未知数，故是一个欠定问题，需要使用物理先验来求解。
2.基于物理先验的去雾算法
由于大气散射模型是一个欠定的问题，无法直接求解，所以有许多根据物理先验求解的去雾算法，如何凯明等人暗通道先验（Dark Channel Prior，DCP）方法，Tan等人最大对比度（Maximum Contrast，MC）方法，Zhu等人的颜色衰减先验（Color Attenuation Prior，CAP）方法， Ancuti等人的色度不一致方法。下面重点介绍暗通道先验法和非局部方法
2.1暗通道法
通过大量的观察和统计经验发现，在户外的无雾图像中，在大部分非天空区域里，至少有一个图像通道是很小一个数或者趋近于零，因此可以得到这样一个式子：
首先对图像每个像素取三通道中的最小值，得到一个单通道图，然后对该单通道图做最小值滤波就得到了暗通道图 。作者认為，造成这个现象的原因主要有三点，一是各类物体的阴影，玻璃;二是彩色物体的表面，如花草树木，蓝色的水面，三是黑色物体表面，如树干，石头等。在这些位置，图像总是存在一个值很小的通道。根据这个物理先验，就可以对大气散射模型进行求解。首先将大气散射模型改写为
上标c代表rgb三通道。进一步假设每个滤波窗口内的透射率t（x）是常数，记为t?（x），然后对方程两边同时计算暗通道，即作两次最小值运算，得到
根据暗通道先验，J趋近于零，这样就得到了透射率的估计值：
2.2非局部法
非局部法基于的物理先验是，无雾图像一般能由几百个不同的颜色像素点很好地估计，这些点在RGB空间里形成紧密的聚类，而在有雾图像中，一个聚类会被散射成一条线的形状，称作雾线。注意每条雾线上的点可能分布在图片的很多区域，由景深的不同，导致每个像素点被不同程度地散射。因此根据这些散射得到的RGB空间中的线，就可以估计出图片的景深，进而求解大气散射模型。
非局部法的去雾流程如下：首先求得雾线
然后将原本的RGB坐标归一到以大气光强A为原点，接着变化为球坐标：
在球坐标系里我们定义，改变传输系数t仅仅影响r（x），不会影响角度，也就是说，在球坐标中具有相同角度的像素，他们在无雾图中具有相同的RGB值。因此，如果角度相同，像素属于同一条雾线，在每一根雾线里的像素，有很大的概率在无雾图中具有相同的值。进一步，假设距离大气光A最远的像素是无雾的，这样的像素 存在于每一条雾线里，这种假设对于整张图片是不成立的，因此需要正则化步骤来补偿
接下来，通过最小化下列方程，就可以得到透射率t（x），进而求解大气散射模型。
3.基于深度学习的去雾算法
在深度学习的浪潮掀起以后，图像去雾领域同样出现了大量深度学习的方法，前期主要还是基于大气散射模型的方法，通过神经网络估计透射率t（x），后期出现了一些端到端的模型，通过输入有雾图可以直接得到无雾图像，以便与后续处理相拼接，下面主要介绍两种方法
3.1 DehazeNet
DehazeNet是一种对传输图进行估计的网络，专门设计了用于体现了图像去雾先验的网络结构，具有比之前方法更高的性能，同时保持高效和易用。如图表一所示是DehazeNet的结构示意图。
DehazeNet是一个由四层结构组成的网络，第一层是特征提取层，由卷积+Maxout组成，并且可以证明不同的卷积对应着不同的物理先验，从而深度学习方法与传统方法被联系在一起了。第二层是多尺度映射，由多个不同尺寸的卷积共同作用，从而增强特征在不同尺度下的鲁棒性。第三层是局部极值，这是一个常规操作，可以约束透射率的局部一致性，有效抑制估计噪声。最后一层是非线性回归，DehazeNet使用了一个新的激活函数BReLu，在ReLU的基础上增加了上界约束，保证局部的线性性。 3.2 AOD-NET
与DehazeNet不同，AOD-NET是一种端到端的轻量化网络，通过输入一个有雾图像直接输出无雾图像，而不依赖于单独的参数估计步骤，这样就能与其他高级视觉任务直接相连。首先将大气成雾模型改写：
这样，t（x）和A都被集成到新变量K（x）中，因此我们的目标是构建输入自适应深度模型，其参数将随有雾图像而变化，从而最小化输出J（x）与真实图像之间的误差。
AOD-NET的网络结构由两个模块组成，分别是一个K（x）估计模块，通过输入有雾图I（x）输出K（x），和一个根据改写的成雾模型生成清晰图的模块。在K估计模块中使用了多尺度特征，并且每个卷积层只使用三个卷积核，使得整个网络非常轻量。AOD-NET还能与高级视觉任务如目标检测等直接相连，例如与经典的Faster R-CNN相连接，能够提高雾天下目标检测的准确性。
结语
图像去雾是一项具有重要现实意义的工作，与各种高级视觉任务的性能息息相关。随着各种各样基于物理先验和基于深度学习的方法的提出，该领域变得越来越丰富多彩，然而还存在着大量待解决的问题，如天空区域难以处理，室内场景的去雾难以实现等。图像去雾是一件充满挑战和重要性的工作，仍等待着聪明的头脑与辛勤的劳动投入其中。
参考文献
[1] Single image haze removal using dark channel prior. He K，Sun J，Tang X. IEEEConference on Computer Vision and Pattern Recognition . 2009
[2] Non-Local Image Dehazing. Dana Berman，Tali Treibitz，Shai Avidan. CVPR . 2016
[3]Dehaze Net：an end-to-end system for single image haze removal. Cai B L，Xu X M，Jia K.et al. IEEE Transactions on Image Processing . 2016
[4]AOD-Net：All-in-one dehazing network. Boyi Li，Xiulian Peng，Zhangyang Wang，Jizheng Xu，Dan Feng. IEEE International Conference on Computer Vision . 2017
[5]高原原，馬超，潘博文.视觉物联网中图像去雾方法研究综述与展望[J].信息通信技术与政策，2019（04）：6-11.
作者简介：张涵，（1999.11—），男，江西省抚州市人，湖北省武汉市武汉大学信息与计算科学专业，本科生