论文部分内容阅读
随着2D图像通信系统应用越来越广泛,具有立体感和可交互性的自由视点视频系统(FVV,Free Viewpoint Video)逐渐成为下一代多媒体系统的研究目标.本文探讨的自由视点视频系统采用基于图像绘制技术中的光线空间表示方法实现,光线空间插值和光线空间压缩是其中两大关键技术.本文的研究目标是:充分利用光线空间的数据特征,快速插值出稠密的多视点数据.在此基础上实现高质量的虚拟视点图像生成.最后,综合这些技术实现基于光线空间方法的自由视点视频系统.取得的主要研究成果包括:
(1)提出了基于光线空间方法的任意视点绘制技术在一般条件下的生成原理.本文对光线空间方法原理和关键技术进行深入研究,在此基础上,采用投影变换的方法将多视点图像转化成光线空间数据,给出了在光线空间中的绘制原理.
(2)提出了四种有代表性的光线空间片插值算法.其中,直线特征保持光线空间方法对边缘点采用直线特征保持插值,对非边缘点采用固定方向插值;方向性检测插值方法先定义了一种特征提取策略,然后匹配这些特征点,最后采用基于区域的插值方法快速插值出光线空间数据;特征生长方法利用光线空间片最上面行和最下面行的特征点,采用生长方法将光线空间片分割成不同的区域,对遮挡问题进行了处理;遮挡检测插值方法分析了光线空间数据的遮挡现象,采用直线拟合的方式计算出遮挡区域,得到高质量的插值结果.这些方法与传统光线空间插值方法相比,插值速度快并且绘制的中间视点图像质量高.在此基础上,完成光线空间插值演示系统FVV Viewer1.0.
(3)提出了基于片间相关性的光线空间插值算法.相邻光线空间片之间存在很强的相关性,在分析片间关系基础上,提出了一种快速光线空间插值方法.
(4)提出了基于改进动态规划的图像域插值方法.利用动态规划技术寻找视点间的相关性,得到扫描线最优解,并对视点间存在的遮挡问题进行处理.实验结果表明该方法相比国外同类算法,插值出来的中间视点图像PSNR最高,计算复杂度下降20倍左右.
(5)提出了一种面向用户端的自由视点视频系统框架.为了在用户端达到实时交互绘制任意视点图像,将部分或全部视差信息转移到服务端计算.基于服务端的块视差矢量信息,提出了两种快速视差求精方法.为了节省网络带宽和降低用户端的解码复杂度,采用了一种基于HBP的Simulcast多视点编码方案.最后采用光线空间方法绘制出任意视点图像.