论文部分内容阅读
图像是人类获取信息的重要来源。随着带有高清摄像头的智能手机的普及和成像器件在城市安防、卫星遥感遥测等诸多领域的广泛使用，这些成像器件产生着数量巨大的图像数据。人们对收集到的上述图像数据进行分析与处理，获得关于真实世界重要信息。然而，数字图像在成像、传输、存储等各个环节都不可避免的受到各种降质影响而降低质量，如噪声、低分辨率、模糊等。图像的质量对于基于图像的分析与理解的准确性有着极大的影响。因此，图像复原问题作为图像分析和理解的预处理过程，是一个被广泛研究的问题。本文围绕图像复原中涉及的图像先验模型的表示、图像先验模型的学习效率问题以及图像复原的计算效率等问题，研究其中涉及的若干关键技术。本文的主要工作及创新点概括如下：
(1)提出了一种非局部自相似嵌入的可学习图像扩散图像去噪方法。图像扩散模型是处理图像复原任务时常用的模型之一，如[1]中被提出的可训练非线性反应扩散（Trainable Nonlinear Reaction Diffusion，TNRD）模型。TNRD模型是局部模型，其扩散行为完全由局部斑块的信息控制。因此，TNRD模型恢复的图像会出现伪影和过度平滑等现象。特别是在噪声强度比较大的情况下，上述现象表现的更加突出。同时，非局部自相似（Nonlocal Self-Similarity，NSS）图像先验模型能够利用非局部的图像斑块信息，因此对于抑制伪影和避免过度光滑纹理有积极作用。基于此，本文提出将NSS图像先验模型嵌入到TNRD模型中来改善上述不足。该模型称为可学习的非局部反应扩散（Trainable NonLocal Reaction Diffusion，TNLRD）模型。实验结果表明，TNLRD模型能够产生视觉上更加合理的恢复图像，同时具有更多纹理和更少的伪像。TNLRD模型在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性指数（Structural SIMilarity，SSIM）等指标方面取得了较对比方法更有竞争性的性能。
(2)提出了一种局部滤波器堆叠的快速非局部扩散图像去噪方法。图像去噪方法中，大部分方法在设计时仅考虑提供良好的去噪图像，而几乎不考虑或者极少考虑计算和存储效率，如[2]。随着高清成像设备普及，这些方法不能很好地扩展到高分辨率图像恢复，如计算时间过长或者导致内存溢出等。从语义角度分析相似斑块S相对于其参考斑块R的距离distrs分布，发现人造物和自然物体两个类别中大distrs的分布较多。但由于这两类图像总体占比少，因此大distrs的分布在整体分布占比也少。基于此，将TNLRD中的非局部滤波器替换为局部滤波器，提出了一种局部滤波器堆叠的快速非局部图像扩散图像去噪方法，记为2layerTNRD。实验结果表明，2layerTNRD模型比TNLRD模型的计算效率更高。在4096×4096处理中，采用CPU单线程版本，2layerTNRD模型比TNLRD模型快约6倍。图形处理器单元加速的2layerTNRD较CPU版本快约10倍。同时，从PSNR和SSIM指标看，2layerTNRD模型达到了和TNLRD模型相当的图像去噪性能。
(3)提出了一种共享扩散项的通用图像扩散方法。图像复原问题是典型的不适定问题，基于正则化的方法是常用求解之一。除了人工设计（如总变分模型）外，图像先验模型1还可以通过机器学习的方法训练得到，如专家场模型。基于机器学习的方法分为生成式学习和判别式学习。一方面，生成式模型可以转移到各种图像复原问题，但与判别式模型相比，生成式模型提供图像恢复质量一般较差。另一方面，判别式模型通常是针对特定的图像复原问题进行训练，在未训练的问题中会失败。为了结合生成式和判别式学习的优点，本文提出了一种共享扩散项的通用图像扩散方法（genericDP），通过共享一个扩散项来同时训练模型处理多个噪声强度的图像去噪问题。与原来的训练方法相比，genericDP模型可以提供相近的图像去噪性能和更高的训练效率。实验结果表明，本文训练得到的扩散项可以作为通用的图像先验模型迁移到图像非盲去卷积问题，并获得了较对比方法有竞争力的恢复性能。
(4)提出了高层视觉任务指导的底层视觉任务优化器。基于判别式方法训练图像复原模型时，?2损失函数是最常用的损失函数。使用?2损失函数训练的模型在恢复图像时，倾向于过度光滑图像的细节。虽然恢复图像的PSNR指标较高，但是视觉质量不是很好。在生成对抗网络框架训练的图像复原模型，虽然能够得到纹理更加丰富、视觉质量更好的恢复图像，但是生成对抗网络训练十分不稳定，对网络结构、训练超参数都十分敏感。基于此，本文提出高层视觉任务指导的底层视觉任务优化器（High-level task Aided Low-level Optimizer，HALO）。实验结果表明，HALO框架训练过程具有良好的稳定性，对网络结构、训练超参数具有良好的可解释性。在改善高层视觉网络对于输入噪声的鲁棒性同时，使用HALO框架训练的图像去噪模型可以恢复出更多合理的细节，提高了恢复图像的视觉质量。
(1)提出了一种非局部自相似嵌入的可学习图像扩散图像去噪方法。图像扩散模型是处理图像复原任务时常用的模型之一，如[1]中被提出的可训练非线性反应扩散（Trainable Nonlinear Reaction Diffusion，TNRD）模型。TNRD模型是局部模型，其扩散行为完全由局部斑块的信息控制。因此，TNRD模型恢复的图像会出现伪影和过度平滑等现象。特别是在噪声强度比较大的情况下，上述现象表现的更加突出。同时，非局部自相似（Nonlocal Self-Similarity，NSS）图像先验模型能够利用非局部的图像斑块信息，因此对于抑制伪影和避免过度光滑纹理有积极作用。基于此，本文提出将NSS图像先验模型嵌入到TNRD模型中来改善上述不足。该模型称为可学习的非局部反应扩散（Trainable NonLocal Reaction Diffusion，TNLRD）模型。实验结果表明，TNLRD模型能够产生视觉上更加合理的恢复图像，同时具有更多纹理和更少的伪像。TNLRD模型在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性指数（Structural SIMilarity，SSIM）等指标方面取得了较对比方法更有竞争性的性能。
(2)提出了一种局部滤波器堆叠的快速非局部扩散图像去噪方法。图像去噪方法中，大部分方法在设计时仅考虑提供良好的去噪图像，而几乎不考虑或者极少考虑计算和存储效率，如[2]。随着高清成像设备普及，这些方法不能很好地扩展到高分辨率图像恢复，如计算时间过长或者导致内存溢出等。从语义角度分析相似斑块S相对于其参考斑块R的距离distrs分布，发现人造物和自然物体两个类别中大distrs的分布较多。但由于这两类图像总体占比少，因此大distrs的分布在整体分布占比也少。基于此，将TNLRD中的非局部滤波器替换为局部滤波器，提出了一种局部滤波器堆叠的快速非局部图像扩散图像去噪方法，记为2layerTNRD。实验结果表明，2layerTNRD模型比TNLRD模型的计算效率更高。在4096×4096处理中，采用CPU单线程版本，2layerTNRD模型比TNLRD模型快约6倍。图形处理器单元加速的2layerTNRD较CPU版本快约10倍。同时，从PSNR和SSIM指标看，2layerTNRD模型达到了和TNLRD模型相当的图像去噪性能。
(3)提出了一种共享扩散项的通用图像扩散方法。图像复原问题是典型的不适定问题，基于正则化的方法是常用求解之一。除了人工设计（如总变分模型）外，图像先验模型1还可以通过机器学习的方法训练得到，如专家场模型。基于机器学习的方法分为生成式学习和判别式学习。一方面，生成式模型可以转移到各种图像复原问题，但与判别式模型相比，生成式模型提供图像恢复质量一般较差。另一方面，判别式模型通常是针对特定的图像复原问题进行训练，在未训练的问题中会失败。为了结合生成式和判别式学习的优点，本文提出了一种共享扩散项的通用图像扩散方法（genericDP），通过共享一个扩散项来同时训练模型处理多个噪声强度的图像去噪问题。与原来的训练方法相比，genericDP模型可以提供相近的图像去噪性能和更高的训练效率。实验结果表明，本文训练得到的扩散项可以作为通用的图像先验模型迁移到图像非盲去卷积问题，并获得了较对比方法有竞争力的恢复性能。
(4)提出了高层视觉任务指导的底层视觉任务优化器。基于判别式方法训练图像复原模型时，?2损失函数是最常用的损失函数。使用?2损失函数训练的模型在恢复图像时，倾向于过度光滑图像的细节。虽然恢复图像的PSNR指标较高，但是视觉质量不是很好。在生成对抗网络框架训练的图像复原模型，虽然能够得到纹理更加丰富、视觉质量更好的恢复图像，但是生成对抗网络训练十分不稳定，对网络结构、训练超参数都十分敏感。基于此，本文提出高层视觉任务指导的底层视觉任务优化器（High-level task Aided Low-level Optimizer，HALO）。实验结果表明，HALO框架训练过程具有良好的稳定性，对网络结构、训练超参数具有良好的可解释性。在改善高层视觉网络对于输入噪声的鲁棒性同时，使用HALO框架训练的图像去噪模型可以恢复出更多合理的细节，提高了恢复图像的视觉质量。