论文部分内容阅读
图像超分辨率技术是指通过软件算法来提高图像的空间分辨率并恢复更高频率的细节信息，从而获得更丰富的图像内容。如今，图像超分辨率技术在视频处理领域获得了更多的关注，视频超分辨率成为研究热点。得益于硬件成本低、部署难度小等优势，视频超分辨率技术可以嵌入在录制、传输、播放、应用等各个阶段，对于提高成像质量、降低传输带宽、改善视觉体验、优化智能应用等方面均可起到突出作用，具有极高的应用价值。本文主要关注视频超分辨率算法的研究。
现阶段，深度学习技术在视频超分辨率问题上受到了广泛关注与发展。根据处理时域信息方式的不同，主要可分为多帧网络和循环网络。多帧网络按照自回归模型从相邻的多帧输入图像来获取时域信息，由于输入图像帧数的限制和独立的计算过程而难以保持较高的帧间一致性。循环网络则通过时域的循环处理来逐步获取时域信息，初始阶段受到循环处理次数的限制而导致超分辨率质量较差。针对上述问题，本文分别对多帧网络和循环网络进行了改进，并集成多帧网络和循环网络设计了一种高鲁棒性视频超分辨率方法，保持了更好的帧间一致性。主要工作包括：
（1）针对多帧网络模型，首先通过可变形卷积结合非局部网络改进了图像配准模块，提高了图像配准的精度，接着通过渐进融合结构的时空注意力机制改进了特征融合模块，提高了时空特征融合的效果。综合上述模块设计了一种基于非局部可变形卷积的视频超分辨率网络模型，取得了更好的超分辨率效果。
（2）针对循环网络模型，首先通过改进信息流循环方式，将像素域的图像处理结果与特征域的时空特征图相结合进行信息循环，提高了对时域特征的表达能力并降低了误差传播的影响。然后结合图像配准模块、特征融合模块等结构，提高了对空间特征的表达能力和时空特征的综合能力。设计了一种基于像素域结合特征域信息循环的视频超分辨率网络模型，降低了误差传播的影响从而取得了更好的超分辨率效果。
（3）集成上述改进的多帧网络模型与循环网络模型，设计了一种鲁棒的视频超分辨率方法。通过集成多帧网络与循环网络，使得网络整体对时空特征的表达能力得到进一步提高，有助于恢复更多的高频细节内容。同时充分发挥了各个子网络的优点，既增强了帧间结构一致性又提高了初始阶段超分辨率图像的质量。
通过对实验结果的对比分析验证了本文所设计的视频超分辨率方法的有效性，在主观视觉效果和客观评价质量上均取得了一定提升；通过网络结构消融实验的对比分析，进一步验证了本文所改进的网络模块与网络集成方法的有效性。
现阶段，深度学习技术在视频超分辨率问题上受到了广泛关注与发展。根据处理时域信息方式的不同，主要可分为多帧网络和循环网络。多帧网络按照自回归模型从相邻的多帧输入图像来获取时域信息，由于输入图像帧数的限制和独立的计算过程而难以保持较高的帧间一致性。循环网络则通过时域的循环处理来逐步获取时域信息，初始阶段受到循环处理次数的限制而导致超分辨率质量较差。针对上述问题，本文分别对多帧网络和循环网络进行了改进，并集成多帧网络和循环网络设计了一种高鲁棒性视频超分辨率方法，保持了更好的帧间一致性。主要工作包括：
（1）针对多帧网络模型，首先通过可变形卷积结合非局部网络改进了图像配准模块，提高了图像配准的精度，接着通过渐进融合结构的时空注意力机制改进了特征融合模块，提高了时空特征融合的效果。综合上述模块设计了一种基于非局部可变形卷积的视频超分辨率网络模型，取得了更好的超分辨率效果。
（2）针对循环网络模型，首先通过改进信息流循环方式，将像素域的图像处理结果与特征域的时空特征图相结合进行信息循环，提高了对时域特征的表达能力并降低了误差传播的影响。然后结合图像配准模块、特征融合模块等结构，提高了对空间特征的表达能力和时空特征的综合能力。设计了一种基于像素域结合特征域信息循环的视频超分辨率网络模型，降低了误差传播的影响从而取得了更好的超分辨率效果。
（3）集成上述改进的多帧网络模型与循环网络模型，设计了一种鲁棒的视频超分辨率方法。通过集成多帧网络与循环网络，使得网络整体对时空特征的表达能力得到进一步提高，有助于恢复更多的高频细节内容。同时充分发挥了各个子网络的优点，既增强了帧间结构一致性又提高了初始阶段超分辨率图像的质量。
通过对实验结果的对比分析验证了本文所设计的视频超分辨率方法的有效性，在主观视觉效果和客观评价质量上均取得了一定提升；通过网络结构消融实验的对比分析，进一步验证了本文所改进的网络模块与网络集成方法的有效性。