论文部分内容阅读
随着科技的进步,尤其是计算机视觉技术的迅猛发展,大众已可轻松获取远超往昔的视觉体验,然而大众对于更卓越视觉效果的追求并未因此放缓,新的革命性的视觉技术急需被实现并推广。近几年来,诸多基于虚拟视点生成技术的优秀应用横空出世。虚拟视点是指通过一定算法,利用已知视点生成的本不存在的视点。基于虚拟视点生成技术的应用往往都能展现出令人震撼的视觉效果,在此背景下,虚拟视点生成技术开始逐步迈入大众视野之中,在相关研究领域受到的关注也越来越多,可见虚拟视点生成技术具有广阔的应用空间与发展前景。虚拟视点的生成有多种方案,其中基于深度图像的虚拟视点生成算法能够以较低的成本实现良好的效果,同时保证实时性,因此本文选择了基于深度图像的算法来进行虚拟视点的生成工作。在基于深度图像的虚拟视点生成算法中,除了RGB图像外,还需要加入与RGB图像同时获取的深度图像作为参考视点。其中,深度图像是通过对深度数据进行处理得到的,它可以较为直观地反映场景中各个物体表面到摄像头的距离。深度数据的获取有多种方法,出于效率与成本的考虑,本文采用了通过设备直接采集的方法,并选择Kinect 2.0来获取深度数据。Kinect 2.0是微软推出的新一代体感设备,在优质开发工具的支持下,Kinect 2.0能够方便快捷地获取更高质量的深度数据,另外还具有能同时获取RGB数据以及成本较低的优势。深度数据需要转换为深度图像以便存储、传输与进一步处理,目前常用的转换方法为线性化的方法,本文针对这一方法的不足,在此基础上提出了基于累积分布概率的方法与基于熵值的方法这两种改进的方法,并在不同场景中以主观视觉效果与客观指标对原线性化方法及两种改进的方法得到的深度图像进行了对比分析。优化的深度图像需要与同时获取的RGB图像作为输入转换为RGBD点云数据。RGBD点云数据为带有RGB信息的点云数据,它包括位置参数与RGB参数。位置参数通过将深度图像中的像素点从二维的图像坐标空间映射到三维的世界坐标空间来确定,RGB参数需要通过与深度图像对应的RGB图像来确定。为获得准确的RGB参数,本文提出了基于深度数据的对齐方法,完成深度图像与RGB图像的配准,从而使RGBD点云数据更为精确。在获取RGBD点云数据流后,本文选择Direct3D三维图形接口,将RGBD点云数据与顶点坐标变换矩阵输入到GPU,依靠GPU的并行能力完成虚拟视点的生成,期间需要对着色器进行编程来定制着色器的操作,从而提高运算速度以保证实时性。实验结果表明本文的虚拟视点生成算法能够在一定角度范围之内实时地实现虚拟视点的生成,达到了研究的预期目的。