论文部分内容阅读
本文研究基于图像的视图合成技术。视图合成(View Synthesis)是指通过两个或多个摄像机视点上所得到的同一场景的图像，直接计算出其它各个摄像机视点或视线方向上该场景的图像。虽然文献中有了不少算法，但仍然存在一些不足，例如目前视图合成技术主要存在的问题有实时性不强，中间视图真实性不够，需要手动建模等。为了解决这些问题，本文分析和讨论了基于图像的绘制技术的视图合成两方面的内容：一是基于立体匹配的视图插值，另一个是基于图像序列的视图合成。在基于立体视觉的图像合成中，存在两个难点：视点运动的局限性和立体匹配固有的模糊性。针对第一个问题，首先采用一种对视点任意运动都适应的图像校正算法，使任意运动的图像对转化为标准立体配置的图像对；其后，采用角点特征提取和三角形网格剖分、插值的方法完成了任意运动图像对的图像合成。针对第二个问题，提出了两种适合图像合成特殊应用的立体匹配算法：基于扫描线自适应分割的立体匹配和基于类树结构和二维DP优化的立体匹配算法。第一个算法，通过扫描线自适应分割保证了段内视差的平滑性，通过段内视差拟和以及假设验证法保证视差在垂直方向的平滑性。第二个算法首先将图像看作一个二维网格，图像的每一个像素点就是网格的一个节点，通过给网格节点指定特定的顺序关系和分割断开某些节点的联系，使图像网格变成一个类树的结构；其后采用二维DP优化算法，实现了基于类树结构的立体匹配。我们在基于图像序列的视图合成中提出了两个算法：一是基于图像学习的图像合成算法，二是基于TIP的图像序列重建法。基于图像学习的方法将生成中间视图表达为一个最大后验概率的问题。在弱定标的情况下，通过多极约束的原理，将深度域的最大后验概率计算问题转换到视差域，从原图像中学习获得最大后验概率，从而在不定标和不匹配条件下，可以从图像序列直接生成中间视图。基于TIP(Tour into the picture)的图像序列场景重建法可以认为是对TIP建模法的扩展。我们提出用曲面建模法代替TIP中的平面建模法，扩展了传统TIP建模法的适应范围。在对序列图像的每一幅都建模的基础上，我们通过模型拼接或者模型切换生成，建立有关图像序列场景的伪模型，然后实现了在伪模型内任意漫游。所提出的方法用于室内和室外场景的图像，实验结果证明了所提算法的有效性。