论文部分内容阅读
图片质量恢复是计算机视觉的基础任务之一。图片及其伴随的视觉算法被广泛的应用于分类、检测、监控、自动驾驶等。传感器比如相机接收到的图片信号往往伴随着噪声或者恶劣天气等不良影响,这些污染常常对后续的应用造成分类错误、识别不准确等影响。污染信息会导致背景图片的语义信息不能被完全挖掘。所以,为了提高计算机视觉任务的表现,图片质量恢复成为了图片分析必不可少的前序步骤。损坏图片质量的污染信息主要为采集图片时不可避免的噪声以及一些极端的天气情况(雨、雾),近年来很多基于深度学习的模型被提出,在图片质量恢复问题上取得了显著的效果。这些方法根据污染信息的先验进行建模,由于不同的污染具有不同的先验信息,所以大量的模型往往只关注于其中一种污染,但这大大减弱了模型的泛化能力。图片中常常存在多种污染信息,比如有雨水的天气常常伴随着雾霾,而噪声又是广泛存在在采集图片中的。同时,由于难以采集到恶劣天气与干净背景图片的成对数据集,现有的图片质量恢复训练数据集都是人工设计而成,所以存在着污染分布单一的问题,而数据集决定了模型的能力上限,这大大限制了模型表现。最后由于损失函数常常采用均方误差,会造成恢复图片过于平滑的问题,丢失图片细节。为了解决上述的问题,提高模型的泛化能力,弥补恢复细节,在数据集方面,本文构建了一个具有广泛污染分布的训练数据集,其中包括不同强度的噪声与雨雾,尽可能的覆盖不同的污染。在模型构建方面,我们设计了污染强度感知模块和图片质量恢复网络。污染强度感知模块的功能是提取污染的强度特征,以此来辅助背景图片的恢复。图片质量恢复网络分为三个部分,分别为去雾,去雨/噪声,细节恢复模块,每个模块的设计都根据不同污染源的先验搭建模型。细节恢复模块基于对抗生成网络,能够捕捉真实背景图片的数据分布,以此来补充网络生成图片的细节。本文通过实验展示了强度感知信息对于图片质量恢复任务的提升效果,同时展示了新提出的模型处理混合污染的泛化能力。通过与大量的先进模型的对比,新模型在消除污染的同时兼顾了细节的修复。