论文部分内容阅读
3D超高清电视的日益普及与发展带动了人们对高帧率视频的需求。帧率提升(Frame Rate Up-conversion,FRUC)作为一种获取高帧率视频且可实现视频间帧率转换的视频后处理技术,逐渐引起学术界的关注并成为研究热点。帧率提升是一种利用连续两帧之间的时域相关性获得内插帧,然后插入原始两帧之间以达到增加帧率目的的技术。视频的帧率越高,它的观影效果也就越好,同时代表着画面中的动作越流畅,细节越细腻。由于视频帧率提升多样化的应用,FRUC技术在数字多媒体领域拥有广泛的应用前景,同时学术界也研究出了各种各样的FRUC算法,其中应用最为广泛的是基于运动补偿的FRUC算法。该算法引入了运动信息,可以很好地保证内插帧处于原运动轨迹上,但同时也会带来一些问题,如块效应、模糊、遮挡等。本论文在2D视频上展开研究,对基于块匹配的运动补偿类帧率提升过程中的关键技术:运动估计、运动矢量后处理和双向运动补偿插帧做了深入的研究探讨并提出有效可行的解决方案。论文的主要研究内容可总结归纳为以下三点:1.提出一种基于四重运动矢量后处理的FRUC算法。通过采用混合运动估计法即将前向、后向及双向运动估计相结合,避免遮挡和重叠等问题的发生;为了提高运动矢量的精确性,前后向运动矢量场的异常值将被检测并通过基于先验信息的修正算法对其进行修正,然后采用矢量外插和加权求和的方法对双向运动矢量场进行矢量平滑;此外,通过基于块匹配率和阶梯型策略的双向运动矢量选择和判定方法实现单向矢量场向双向矢量场的精确转换。该算法可以提高运动矢量的精确度,得到质量高、效果好的内插帧。2.提出一种基于时空域的自适应运动补偿插帧算法。在运动估计中加入预处理和纹理信息,既减少了计算量又提高了运动矢量的精确度;然后对修正后的矢量进行运动分析,将其分为三种块类型;最后对不同类型的块基于时空域的精准信息采用不同的补偿插帧算法,最终得到高质量的内插帧,有效减少了块效应和模糊现象。3.在常见的二倍帧率提升基础上,提出一种基于运动信息的非整数倍FRUC算法,该算法可以实现任意分数倍数的帧率上转换。所提算法充分利用运动信息选择物体运动最快的地方作为待插入帧的位置,并采用双向运动补偿方法获得该处的内插帧,有效消除了帧率提升后的视频中常见的模糊和运动抖动现象。同时为了提高待插入帧位置判定的准确性,该算法设计了基于帧间相关度和帧间运动速度的插帧位置判定方法,并采用了新的场景检测方法。该算法相对于其他传统算法,提升后的视频具有明显的质量改善,获得较好的视觉效果。本论文提出的帧率提升方法经过丰富的计算机仿真实验和比较分析,结果表明,无论是在主观视觉效果上,还是在峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(Structural Similarity Index Measurement,SSIM)两种客观指标上都优于经典的帧率提升方法。