论文部分内容阅读
随着多媒体技术的发展，视频监控在安防领域得到了普及性发展。然而，它们通常只是将摄像机的输出结果记录下来，并没有充分发挥实时主动的监督作用。监控的智能化技术具有越来越广泛的应用需求。其中，人脸检测与识别技术集成到监控系统中将具有重要的应用价值。然而，受到监控设备性能、采集距离、光照环境、监控对象姿态、运动以及噪声等因素的影响，在无约束自然环境下获取的监控视频序列通常是低质量的。这些图像中的人脸图像通常难以直接应用于后续的自动分析。因此，如何通过视频序列中的低质人脸图像重建高质量图像，是目前图像处理领域的一个研究热点。 围绕监控视频序列中人脸图像的超分辨率重建问题，本文从以下三个方面开展了初步研究:视频序列中人脸集合的自动建立、基于学习的单帧人脸超分辨率重建技术以及多帧人脸序列的超分辨率重建技术。本文的主要工作包括以下内容: (1)针对视频序列中人脸姿势不固定、尺寸大小不一的问题，提出了一种面向视频序列的人脸集合自动建立方法。主要创新点在于提出了新的人脸图像在姿势、清晰度和亮度三方面的图像质量评分指标，并通过回归学习的方法获得不同质量评分的融合权值，得到人脸图像的整体质量评价指标。该方法可自动选取人脸序列中多个正面、清晰的、质量较高的人脸图像形成人脸集合。该人脸集合可用于后续的人脸图像超分辨率重建。实验结果表明，本文方法可有效处理视频序列中含有尺寸变化较大人脸的情况。 (2)在单帧人脸图像超分辨率重建方面，提出了一种基于HR-LLE(HighResolusion-Locally Linear Embedding)权值约束的人脸超分辨率重建算法。针对对应高分辨率（High Resolution，HR）和低分辨率(Low Resolution，LR)人脸在学习样本库中的LLE重建系数不一致的问题，在计算LLE权值系数时，加入权值约束，使得重建HR人脸图像的LLE系数与训练样本中HR图像LLE系数之间的l2范数平均值接近。该算法分别从全局特征和局部特征对人脸图像进行约束，重建高分辨率人脸。实验结果表明，本文算法在主观质量和客观质量上都优于没有权值约束的LLE人脸图像超分辨率重建方法。在4倍放大中，PSNR可提高约1dB。 (3)在多帧监控视频序列中低质量人脸图像的超分辨率重建方面，提出了一种新的基于重建和基于学习的人脸图像超分辨率联合重建方法。首先，将视频序列中的多帧较为正面、质量较高的人脸图像进行基于重建的超分辨率复原。这里采用基于权值矩阵的超分辨率盲复原算法，有效利用人脸集合中人脸图像之间的互补信息，将多幅人脸重建为一幅质量较高的人脸图像;然后，利用基于学习的超分辨率重建方法对上一步的结果做进一步的处理。我们在单帧HR-LLE权值约束的人脸超分辨率重建方法的基础上，提出了一种新的自适应权值约束方法。该约束项迫使最优化LLE权值系数求解中，预测HR图像的LLE系数与插值放大后的LR图像在HR样本库中获得的LLE系数接近。实验结果表明，本文提出的面向监控视频的人脸超分辨率复原方法，不仅可以利用视频帧之间的互补信息，还可以打破基于重建的超分辨率复原算法中放大倍数的限制，更好的实现视频序列中人脸图像的超分辨率复原。