论文部分内容阅读
视频技术已经完成了从模拟到数字、从标清到高清的转化,人们对视频质量的需求是越来越高的。在未来一段时间,光电跟踪测量系统以及视频监控系统中将越来越多地采用高清相机。这些相机的输出一般采用CameraLink接口,不能直接输出到高清显示设备。因而将相机输出的信号实时转换成高清显示设备能够接受的HDMI或DVI接口视频信号,是需要解决的关键问题。本文围绕上述问题开展了高清视频实时显示技术及其实现方法研究。
高清视频显示的实现需要依赖高速图像数据处理技术。对于每秒60帧的全高清无压缩视频来说,像素时钟将达到148.5MHz,每帧图像的数据量达到6MB,如果使用串行处理技术来处理,那么将需要一个很高的处理时钟频率以保证显示系统的实时性需求,这会导致系统稳定性降低和功耗的增加。而FPGA因为拥有对像素数据进行并行处理的能力,因此可以降低系统处理时钟频率。本文设计的基于Spartan-6 FPGA的全高清显示系统的图像处理单元能够在每个时钟周期并行地处理两个像素,因而系统时钟只有像素时钟的一半,从而提高了系统的稳定性并降低了功耗。
本系统所使用的相机的输出是原始的Bayer格式彩色视频图像,为了得到全彩色图像,必须采用插值(也叫去马赛克)的方法来估计每个像素上缺失的两个颜色分量。然而大多数现存的Bayer插值算法仅仅针对离线独立使用或者是后期处理的应用场合,这些方法往往需要复杂的运算过程甚至迭代计算,因而不适合用硬件实现。出于对硬件实现的时间和资源使用量考虑,提出了一种高效的加权梯度Bayer插值算法,该算法计算复杂度小并且能获得良好的插值图像质量。尽管该算法的硬件资源使用量与目前常用的双线性Bayer插值算法相当,但实验结果表明该算法比双线性Bayer插值算法信噪比提高6dB以上。
为了增加输出显示的图像质量,除了Bayer插值,本系统对输入视频图像的处理还包括自动白平衡以及自动增益控制。通过对相机自动白平衡算法的研究及其软件仿真,最终采用了White Patch自动白平衡算法。通过对自动增益控制方法的研究,提出了分段线性自动增益控制方法。
为了解决高速数据处理带来的系统功耗问题和存储器带宽瓶颈,用一条完整的硬件流水线结构实现了上述三种处理过程,降低了系统的时钟频率并提高了稳定性。一种建立在视频流水线处理基础上的新颖的输入视频缓存方案也随之确立。大多数现存的视频显示系统通常都非常依赖于将RGB视频(原始数据,中间结果或者最终结果)缓存到外部存储器(通常是DDR系列存储器)。因为本系统中Bayer图像处理算法完全是用硬件流水线结构实现的,所它可以按照视频输出对数据需求的节奏来处理视频图像数据。这样一来,处理后的视频图像(24位RGB格式)就不用再次进入DDR2内存进行缓存而是可以直接输出到显示器显示(因为数据节奏一致),加上本系统的输入是Bayer格式的视频图像,图像数据量只有相同分辨率RGB视频的三分之一,从而使本系统比一般的视频显示系统节约了75％的内存带宽和容量。
在完成了Bayer图像处理算法仿真及FPGA实现的基础上,还用FPGA实现了前端的光纤接收与DDR2内存帧缓存以及后端的DVI与HDMI接口全高清视频输出,实现了一个实时全高清视频(1920×1080p@60Hz)显示系统,实测图像显示画面延时小于0.02秒。
全高清无压缩视频图像数据尽管可以用于本地显示,但由于其带宽大而很难实现远距离传输。为此,设计了视频格式转换和数据格式转换模块,将全高清无压缩视频转换成外部H.264编码器能够接受的ITU-R BT.1120高清数字视频,通过CPCI背板连接输出到外部H.264编码器,实现了全高清视频的H.264编码。