论文部分内容阅读
深度图像作为一种场景深度信息的表达方式在计算机视觉领域有非常广泛的应用,如三维立体重建、人体姿态识别、虚拟现实等领域。深度图像是指描述场景深度信息的图像,与传统的自然图像相比,深度图像的质量不受场景光照及物体反射特性的影响,能准确地描述场景的深度信息。然而,深度图像获取方法在硬件上的局限性,导致生成的深度图像的分辨率非常低,无法满足实际应用的需求。通过超分辨算法来提升深度图像的分辨率得到了国内外学者的广泛研究。深度图像超分辨的关键是构建低分辨图像到高分辨图像之间的映射关系。卷积神经网络由于其强大的非线性表达能力在自然图像处理问题中获得了非常大的成功。目前,已有学者将卷积神经网络应用于深度图像的超分辨问题中,但是,由于深度图像结构特征太少,存在误差传播弥散的问题,导致深度图像超分辨的效果不理想。最近,有学者利用深度图像和相同场景下的彩色图像在结构上的相似性,提出了以彩色图像为导向的深度图像超分辨重构算法。比如基于滤波的方法,该方法只利用了深度图像和彩色图像之间的线性关系,只是考虑了本图的信息,没有利用训练集的信息。本文基于卷积神经网络的方法,对深度图像的超分辨问题展开研究,主要工作如下:1.针对传统卷积网络在深度图像超分辨应用中存在的问题,我们研究并改进了卷积神经网络结构。利用卷积神经网络的非线性学习能力学习低分辨的深度图像和高分辨深度图像的映射关系,构建一个图像端到图像端的卷积神经网络,在网络的结构中加入批量归一化层,该网络层的加入加快了网络的收敛速度。利用该卷积神经网络模型对深度图像进行超分辨重构。在经典测试集上,我们算法的结果优于现有深度图像超分辨算法。2.针对工作一中卷积神经网络只利用了低分辨深度图像的结构信息,没有很好的利用彩色图像的信息的缺点,本文提出了联合彩色图像的卷积神经网络的深度图像超分辨算法。为了利用彩色图像信息,我们设计了基于三维滤波器的卷积神经网络结构,将深度图像和彩色图像作为网络输入,利用三维滤波器同时获得场景图像的深度和局部结构信息,从而能学习到更准确的非线性映射关系,并恢复出高分辨的深度图像。仿真实验结果表明,相比工作一的方法和传统方法,联合彩色图像的方法能恢复出质量更好的高分辨深度图像,在Middlebury数据集上测试性能优于其他对比方法,证明了本文算法的有效性。