论文部分内容阅读
从实际拍摄的视频中自动地恢复动态场景的稠密深度信息仍是一个非常具有挑战性的问题。大部分现有的动态场景重建方法【1~2】需要基线较窄的固定摄像机阵列才能获得较好的深度估计，并且多数方法都要求较多数目的摄像机(通常不少于8个)来保证高质量的深度恢复，这限制了其在实际应用中的使用。本文提出了一个新的动态场景稠密深度恢复方法，能够从较少数目的手持摄像机(仅2～3个)所拍摄的同步视频序列中自动地恢复出高质量的深度图序列。相比固定多目摄像机阵列的方法，本方法在摄像机的布置上更为方便灵活且成本更小，同时恢复的深度更为鲁棒。首先匹配不同序列上的同一时刻的视频帧，为每帧初始化深度图。然后提出一个新的双层分割方法，能够在手持摄像机自由移动的情况下，结合相邻多帧的颜色和几何信息将每帧的像素点分为静态和动态两类，并对于静态和动态像素采用不同的几何约束进行时空一致性的深度优化。特别地，本文提出了一种迭代式优化框架，利用经过优化的深度图重新进行双层分割，从而进一步优化深度结果。