图像及多视点视频超分辨率重建算法研究

• 作 者: 张业达
• 出 处: 天津大学
• 发表日期: 2004年期
• 关键词: 超分辨率重建 多视点视频 卷积神经网络 局部线性嵌入

超分辨率重建旨在由低分辨率的图像或视频序列重建出高分辨率的图像或视频序列,是目前计算机视觉领域的重要研究课题之一。超分辨率重建算法可以在现有的硬件条件下,改善图像或者视频质量,有效地复原出目标场景的细节信息,具有广泛的应用前景。在图像的超分辨率重建方面,近年来基于深度学习,尤其是基于深度卷积神经网络的算法显著地提升了重建图像的质量。然而,现有的基于深度卷积神经网络的超分辨率重建算法通常对单一空间尺度的特征图进行特征提取,忽略了不同空间尺度的特征可以为图像重建提供多种细节信息。本文提出了密集卷积自编码块来提取多尺度的空间特征,并设计了三种连接方式实现特征复用:单元内跳跃连接以及单元间密集连接实现短期的特征复用机制;块间跳跃连接实现长期的特征复用机制。本文以密集卷积自编码块为基本模块,构建了用于图像超分辨率重建的深度卷积神经网络,并通过多尺度监督训练方式,减少了网络参数,进一步提升了图像重建质量。在视频的超分辨率重建方面,本文聚焦于多视点视频领域,即不同视点摄像机阵列对同一场景同时采集的视频。多视点视频的采集和传输,通常会导致较大的存储和带宽负担。部分视点采用高分辨率采集和传输,其余视点采用较低分辨率的混合分辨率多视点视频架构可有效解决这一问题。为保证观看者视觉体验,需要对低分辨率视点进行超分辨率重建。不同视点的视频序列彼此间存在大量相同的场景信息,因此,较低分辨率视点的超分辨率重建可借助相邻高分辨率视点来完成。本文提出了全新的包括两个阶段的多视点视频超分辨率重建算法。第一阶段:深度信息辅助的高频信息合成阶段,首先通过视点映射方式将高分辨率视点映射到低分辨率视点的成像平面上,利用场景亮度及深度信息确定误映射的区域,获得合成的虚拟视点,并提取其高频信息;第二阶段:引入流形学习中的局部线性嵌入算法,通过在合成虚拟视点与插值视点间进行相似块匹配,重建误映射区域的高频信息并增强合成的高频信息,进一步提升了重建效果。