论文部分内容阅读
高分辨率图像在很多场景中都有广泛需求。但在现实图像获取过程中，成像环境和成像硬件设备的限制以及各种噪声干扰导致获取的图分辨率有限。人们常助图像超分辨率(Super-resolution, SR)技术提高获取图像的分辨率，得到重建的高分辨率图像。着深度学习的出现，基于深度学习的图像超分辨率方法成为国内外研究的热点。图像超分辨率重建技术是指用信号处理和图像处理的方法，通过软件算法的方式从已有的低分辨率图像中恢复出分辨率图像。随着深度学习的出现，基于深度学习的图像超分辨率方法成为国内外研究的热点问题。
注意力机制在机器视觉领域可以让深度学习模型捕捉并加强局部关键信息，抑制非显著性特征，从而使得网络输出特加具有区分性，提升网络整体性能。SR问题属于低阶机器视觉任务，目前大部分基于深度学习的图像超分辨率重建方法都未对低分辨率图像的特征加以区分，训练过程中赋予图像不同通道不同位置相同的权重，这导致重建放大的图像容易在纹理细节比较丰富的地方模糊、出现伪影。为了让网络更好地重建图像细节部分，提升重建图像质量，本文基于三种不同的卷积神经网络，结合注意力机制，对图像超分辨率重建方法进行了研究，本文主要工作包括：
( 1 ) 本文首先详细综述了图像SR重建方法研究现状，总结分析了基于深度学习四类图像SR方法。在此基础上，以全局残差结构为基准网络，提出了加入注意力机制的SR算法。本文研究的所有SR模型都是在低分辨率空间学习恢复图像高频细节，从而提升了图像重建速SR重建，本文用训练好的×2 倍SR模型初始化多尺度SR网络，不仅加快了模型训练速度也提升了SR重建图像质量。
(2 ) 为了更充分地利用图像的高频信息，本文提出了五种不同融合策略获取混合注意力机制模块，并将混合注意力机制模块和三种不同的网络结构结合，有效提升SR重建图像质量。
( 3 ) 在去除BN层的残差块中加入注意力机制模块构成RCSA网络，验证了注意力机制模块与残差模块的结合对图像超分辨率重建任务的有效性；对比分析使用不同策略融合下的混合注意力模块对残差网络重建图像质量的提升效果，实验结果证明使用串联形式的融合策略在每个残差块中均加入注意力机制模块最能提升网络效果。
(4 ) 为了加强网络的信息流动性，获取不同层次的高频特征来重建低分辨率图像。在第三章中，使用加入注意力机制的密集模块构成DCSA网络。在密集连接网络中，过多的注意力机制模块级联堆叠会造成信息丢失，损害网络性能。选取最大值融合策略在部分密集块中加入注意力机制模块使得DCSA网络能够充分发挥密集连接和注意力机制的优势，提升重建图像的PSNR和SSIM值。
(5 ) 为了减少注意力机制模块叠加造成的信息丢失，同时利用残差连接能够复用特征和密集连接能够探索新特征的优势。在第四章，本文提出了加入注意力机制的残差密集模块，充分验证了局部残差和注意力机制带来的RDCSA网络性能提升。
注意力机制在机器视觉领域可以让深度学习模型捕捉并加强局部关键信息，抑制非显著性特征，从而使得网络输出特加具有区分性，提升网络整体性能。SR问题属于低阶机器视觉任务，目前大部分基于深度学习的图像超分辨率重建方法都未对低分辨率图像的特征加以区分，训练过程中赋予图像不同通道不同位置相同的权重，这导致重建放大的图像容易在纹理细节比较丰富的地方模糊、出现伪影。为了让网络更好地重建图像细节部分，提升重建图像质量，本文基于三种不同的卷积神经网络，结合注意力机制，对图像超分辨率重建方法进行了研究，本文主要工作包括：
( 1 ) 本文首先详细综述了图像SR重建方法研究现状，总结分析了基于深度学习四类图像SR方法。在此基础上，以全局残差结构为基准网络，提出了加入注意力机制的SR算法。本文研究的所有SR模型都是在低分辨率空间学习恢复图像高频细节，从而提升了图像重建速SR重建，本文用训练好的×2 倍SR模型初始化多尺度SR网络，不仅加快了模型训练速度也提升了SR重建图像质量。
(2 ) 为了更充分地利用图像的高频信息，本文提出了五种不同融合策略获取混合注意力机制模块，并将混合注意力机制模块和三种不同的网络结构结合，有效提升SR重建图像质量。
( 3 ) 在去除BN层的残差块中加入注意力机制模块构成RCSA网络，验证了注意力机制模块与残差模块的结合对图像超分辨率重建任务的有效性；对比分析使用不同策略融合下的混合注意力模块对残差网络重建图像质量的提升效果，实验结果证明使用串联形式的融合策略在每个残差块中均加入注意力机制模块最能提升网络效果。
(4 ) 为了加强网络的信息流动性，获取不同层次的高频特征来重建低分辨率图像。在第三章中，使用加入注意力机制的密集模块构成DCSA网络。在密集连接网络中，过多的注意力机制模块级联堆叠会造成信息丢失，损害网络性能。选取最大值融合策略在部分密集块中加入注意力机制模块使得DCSA网络能够充分发挥密集连接和注意力机制的优势，提升重建图像的PSNR和SSIM值。
(5 ) 为了减少注意力机制模块叠加造成的信息丢失，同时利用残差连接能够复用特征和密集连接能够探索新特征的优势。在第四章，本文提出了加入注意力机制的残差密集模块，充分验证了局部残差和注意力机制带来的RDCSA网络性能提升。