基于卷积神经网络的单幅深度图像超分辨率重建

• 作 者: 范佩佩
• 出 处: 西华大学
• 发表日期: 2020年01期
• 关键词: 深度图像 超分辨率重建 亚像素 通道注意力机制 非局部均值

随着计算机视觉的发展,深度信息的获取和处理越来越受到关注。深度信息广泛应用于机器人导航、公共安全、医疗等领域,可利用深度相机获得。而由于硬件条件的限制,深度图像往往分辨率较低。为了满足实际应用的需要,在不改变硬件系统的情况下,开发有效且高效的深度图像超分辨率重建技术是非常可取的。为了提升深度图像的重建质量,本文基于卷积神经网络,对单幅深度图像超分辨率重建方法进行了深入研究。主要工作内容如下:(1)根据深度图像超分辨率重建方法的不同分类研究了深度图像超分辨重建的国内外研究现状,分析了深度图像的特点和降质过程,并介绍了卷积神经网络的基础概念、重建评价标准,对几个典型的图像超分辨率重建网络进行了分析和比较。(2)一方面,将上采样的低分辨率深度图像作为卷积神经网络输入会引入不精确的训练初始像素值,从而导致网络训练收敛较慢,而训练像素数量的增加会使网络训练时间变长;另一方面,变多通道训练不能对特征通道权重进行自主校准。针对这两个问题,研究并实现了一种结合亚像素组合和通道注意力机制的单幅深度图像超分辨率重建卷积神经网络。此算法中输入的低分辨率深度图像不需经过上采样预处理,原始低分辨率深度图像输入网络后,直接进行多路特征通道训练,同时添加通道注意力机制模块对特征通道的响应进行自适应校准。最后,在网络末端利用亚像素组合的方式对学习到的多通道非线性映射排列组合完成上采样得到重建深度图像,建立了端到端深度图像重建网络。实验结果表明,该算法在客观评价指标和主观评价上均表现较好,不光具有较快的迭代收敛速度,测试集上的重建性能也优于现有大多数深度图像超分辨率重建算法。(3)现有基于卷积神经网络的深度图像超分辨率重建算法对映射关系的学习大多局限在图像局部感知域,针对这一问题,研究并实现了一种基于非局部均值约束的单幅深度图像超分辨率重建卷积神经网络。该算法中输入的低分辨率深度图像通过亚像素卷积神经网络训练后,由亚像素组合层实现上采样。然后基于经典非局部均值算法,利用图像的自相似性对上采样结果施加非局部均值约束,从而得到最终的重建深度图像,建立了端到端的深度图像超分辨率重建网络。实验结果表明,生成的高分辨率深度图像细节清晰,有较好的视觉效果,测试结果优于所对比的深度图像超分辨率重建算法。