基于视觉显著度的视频编码优化技术研究

• 作 者: 吕品
• 机 构: 北京大学
• 出 处: 北京大学
• 发表日期: 2010年期
• 关键词: 视觉显著度 视频编码优化 结构相似度指标 频谱残差 H.264/AVC 码率控制

随着视频编码技术的不断深入,传统编码技术更多地和诸如心理学和认知学等领域的知识结合起来,以便得到更好的视觉效果。近年来,随着生物学、心理学的发展,关于视觉显著度的研究被应用于计算机领域中,并成为图像和视频处理中的一个热点。　　
视觉显著度(saliency),英文为saliency或者salience,是神经科学和符号语言学中的术语,指的是某一物体或者信号相对于其周围物体或信号的显著程度。这种显著程度通常和人的感知相联系,是综合了客观的信号自身属性和主观的人的高级认知能力的结果。视觉显著度已被广泛应用在认知和注意研究、图像压缩、视频摘要、数字水印以及视频编码中。本文重点研究了视觉显著度在视频编码中的应用。　　
首先,本文针对当前视觉显著度提取方法存在的准确度和稳定性不够的问题,提出了基于结构性信息提取视觉显著度图的方法,并在现有的Itti模型的基础上加入肤色检测和频谱残差方法,综合以上各种方法对视频每帧的视觉显著度提取进行优化,使得视频每帧的视觉显著度图更加准确。　　
其次,本文对已提取出的每帧视觉显著度图在时域上做出调整,依据视频特性、视觉显著度变化特点、编码特点以及人的主观感知等方面,使得调整后的视觉显著度图更符合人眼感受,且更利于视频编码。　　
最后,本文以提取出的视频视觉显著度图为依据,基于H.264/AVC编码标准,分别对帧层和宏块层的码率分配策略进行改进。用较少的码率对视觉显著度较低的区域进行编码,节省出的码率用于视觉显著度较高的区域的编码,使得视觉显著度高的区域编码更精细,质量更高。达到在整体码率相同的情况下,视频总体主观质量更好的效果。　　
详细实验结果显示,本文的方法对视频的视觉显著度提取更加准确,基于视觉显著度的编码与传统编码相比,关键区域更精细,主观质量更好。