论文部分内容阅读
基于图像的三维重建是计算机视觉领域中一个重要的研究主题，分层三维重建是三维重建中的一种重要的方法。分层三维重建首先从图像匹配点得到射影重建，然后由射影重建提升为仿射重建，最后由仿射重建得到度量重建。这种分层次重建的方法简化了重建的复杂度，每一步只需要估计少量的自由参数，从而增强了重建结果的鲁棒性和准确性。近年来深度神经网络和深度学习在物体视觉方面取得了突破性进展，如深度学习在物体检测，物体识别，图像语义分割，图像分类等方面取得了与人类视觉相媲美的性能。但在空间视觉方面，如三维场景重建，视觉物体定位等，深度学习方法的性能却远不如传统的基于几何的方法。究其原因，主要是因为传统基于几何的方法中，可以很方便地集成诸如RANSAC等鲁棒模块从而剔除多幅图像之间不可避免的匹配外点，而基于神经网络和深度学习的途径，目前难以对图像匹配外点进行剔除。针对该问题，本文探究是否能够通过深度学习的方法来剔除图像匹配的外点，从而得到鲁棒的分层三维重建。本文的主要贡献有: 1.提出了一种学习射影重建的深度卷积神经网络CNN-PR。该网络采用Encoder-Decoder的结构，在无监督学习的框架下，仅仅基于图像特征的对应关系，学习场景的三维射影结构。CNN-PR的输入是一组图像匹配对应点，输出是该组图像点所对应的空间点在射影空间下的齐次坐标表示。CNN-PR集成了外点剔除机制，因此可以从含噪声的对应点中学习得到鲁棒的射影重建。为了验证CNN-PR的性能，本文分别进行了模拟实验和真实实验，并将其与传统的基于几何的方法OpenMVG进行对比。实验结果表明，CNN-PR具有较高的重建精度和很强的鲁棒性。 2.为了进一步探究学习分层三维重建的可行性，本文提出了一种新的深度卷积神经网络CNN-SR。该网络采用层次化的结构，在监督学习的框架下，逐步从图像对应点中学习得到射影重建、仿射重建、度量重建以及真实的欧氏重建。CNN-SR纳入了降噪机制，可以降低输入中噪声和外点的影响，从而提高三维重建学习的鲁棒性和完整性。为了验证CNN-SR的性能，本文分别进行了模拟实验和真实实验，并与10种传统的基于几何的方法进行了对比分析。实验结果表明，CNN-SR具有较高的重建精度和较强的鲁棒性。