论文部分内容阅读
多传感器图像融合技术是指将来自不同传感器的两幅或者多幅图像按照一定的融合规则进行综合和处理，最终获得一幅新的图像，该图像整合了单一图像各自的优点。多传感器图像融合技术在医学、军事以及遥感等领域都有着广泛的应用。人脸检测和识别作为近年来计算机视觉与模式识别研究领域中的一大热点问题一直都面临着一个难题，那就是光照条件对于人脸识别结果的影响。而多传感器图像融合技术的出现为这个问题提供了一个解决的方法。众所周知，通过单一可见光传感器在光线很强或者很弱的情况下采集的图像对比度比较差，无法直接用于人脸检测和识别，但是其含有的细节信息比较丰富。正好相反的是近红外传感器采集的图像对光照条件不敏感，可以很好的弥补可见光图像的缺点，但是自身的细节信息不够丰富。因此，如果可以通过多传感器图像融合技术将两幅近红外和可见光图像进行融合获得一幅对光照条件变化不敏感同时又包含足够细节信息的融合图像，那么就可以降低甚至去除光照对于人脸识别结果产生的不良影响。在过去曾经有一些研究者尝试在特征层或者决策层上将两幅图像进行融合直接用于人脸识别当中。但是这样无法获得一幅直观的融合图像，不利于人眼观察。而像素级融合可以很好的保留两幅图像的细节信息，融合图像便于人眼观察，不仅可以应用到人脸检测和识别领域，还可以用于监控设备和数码相机当中。局部二值模式(LBP)算子作为一种传统的人脸检测和识别工具，可以有效的描述人脸的纹理特征。鉴于此，本文提出了一种基于LBP算子的融合算法，并分别与拉普拉斯金字塔分解和小波分解相结合，对图像进行了融合实验。结果表明，我们的算法对于近红外和可见光人脸图像的融合来说是十分有效的。
本文的主要贡献如下：
1.对于近红外和可见光的图像配准问题，我们的工作主要有以下两个方面：一方面是我们自主设计并搭建了图像采集系统，在物理设备上做到了尽量减小由于旋转、尺寸缩放对采集图像的影响；另一方面对采集的近红外和可见光图像进行了基于图像灰度的互相关性配准和改进的互信息最大法配准，既减小了计算量又提高了配准精度。
2.我们将LBP算子用于近红外与可见光人脸图像融合当中，为了弥补LBP算子无法描述近邻灰度值精确差异的缺点，提出了AG-LBP融合方法。
3.将AG-LBP融合算法分别与基于多分辨率图像融合技术中的拉普拉斯金字塔分解方法以及小波分解结合，用于融合近红外与可见光人脸图像。并通过与两种传统的融合方法比较，证明了我们算法的有效性和优越性。