论文部分内容阅读
本课题致力于解决基于二维图像的三维物体重建问题。理论上说，由于二维图像中存在多物体相互遮挡、单个物体前面对背面的遮挡，以及无从判断空间深度等不利条件，想要依靠单张彩色图像得到物体的三维信息，是比较困难的。因此，我们的研究从彩色图像与深度图像二者的结合体出发，着眼于某类特殊物体的重建，这些物体普遍具备一个“可扫曲面”。从形态上来看，这种曲面可以用一个底面沿轴线扫至一个顶面来构成。 本文提出了对RGBD图像中具备可扫曲面一类物体的自动检测与重建算法。该算法的输入是RGBD图像，输出为图片中具备上述特征物体的三维模型。该算法大致分为三个子过程:可扫曲面物体检测、分割和三维建模。物体检测阶段，使用基于Faster R-CNN的检测框架并结合RGBD的图像特性，得到图片中可扫曲面物体的包围盒。分割阶段，在已获得包围盒的条件下，使用深度学习方法和GrabCut方法，得到可扫曲面物体的像素级分割结果。最后，利用深度信息和分割结果，重建出物体的三维模型。 本文设计并实现了一个交互式分割与重建的界面程序。向该程序导入RGBD图像和预先得到的包围盒后，该程序可以显示建模结果，并支持不同角度的查看。