论文部分内容阅读
深度学习作为机器学习重要的一个分支,随着社会数字化为其提供了海量数据而得到了迅猛发展。深度学习在图像处理领域有着广泛的应用,利用深度学习理论可以在图像融合中的不同层级进行处理,这为图像融合处理方法提供了新的工具。由于受技术因素的限制,从部分传感器获取图像信息并不完整,不同的传感器会接收不同的图像信息,而图像融合就是将这些信息汇集到单幅图像的过程,结合深度学习理论可以更好的处理图像融合问题,利用卷积神经网络训练,融合生成的单幅图像能更多地集合了两幅或多幅图像的优点,它表达的信息比传统融合图像更加完整,在机器视觉上呈现的信息更自然、清晰。本文运用深度学习理论、离散小波分解与算子理论研究图像融合问题,提出了三种图像融合算法。首先,关于多聚焦图像融合问题,提出了基于Crop-VGG卷积神经网络的图像融合算法。通过对输入数据做预处理,设计了一种结合小波和Sobel算子的四特征值的图像模块,提升了训练网络的整体精度,通过对于网络细节的调整,加快了模型整体的收敛速度,在高频细节部分,对于左聚焦图像和右聚焦图像的清晰与模糊模块分别进行模糊化处理,再使用加权求和的融合策略,得到处处清晰的聚焦图像。其次,根据多光谱图像和全色图像的不同特征,分别进行离散小波分解,提出了一种结合超分辨率重建网络VDSR与小波分解的图像融合算法。将图像低频细节分量通过实验训练调整网络参数,经过IHS低频加权处理,与高频融合部分进行离散小波逆变换,得到融合图像。最后,提出了一种结合离散小波和GAN网络的红外可见光图像融合算法,将原红外光可见光图像做高低频分解,对基础层采取一种自适应加权系数融合,对细节层利用GAN网络生成具有高频纹理信息和位置信息的图像,将基础层和细节层重构得到完整的融合图像。实验表明,相对于传统的图像融合算法,本文提出的三种基于深度学习理论和小波分解的图像融合算法,在主观和客观评测上都具更好的效果。