基于卷积神经网络的Pan-sharpening方法研究

• 作 者: 刘璐
• 出 处: 西北大学
• 发表日期: 2004年期
• 关键词: Pan-sharpening 深度学习 卷积神经网络 图像融合

作为一项重要的图像处理技术,遥感图像融合近年来受到各界的广泛关注。Pan-sharpening是将具有高空间分辨率的全色(Panchromatic,PAN)图像与具有低空间分辨率的多光谱(Multispectral,MS)图像融合,以获得高空间分辨率MS图像的过程。它能够有效改善图像质量,获得对场景更详细的描述。最近,深度学习技术成为热门研究话题。作为其中最重要的网络结构之一,卷积神经网络在图像处理领域取得了引人注目的成绩,也同样适用于处理pan-sharpening问题。本文重点研究了基于卷积神经网络的pan-sharpening方法,主要研究内容如下:(1).受到ARSIS(Amélioration de la Résolution Spatiale par Injection de Structures)概念的启发,提出一种基于浅-深卷积网络和细节注入的pan-sharpening方法。与其它基于深度学习的方法相比,该方法结合了领域知识,通过设计浅-深卷积网络分别从PAN图像中提取不同层次的空间细节信息;同时基于MS各波段光谱差异,提出基于光谱区分的细节注入模型,将不同波段细节信息分别注入MS图像中,减少了空间与光谱扭曲。实验表明,该方法能够有效提取MS各个波段需要融入的更丰富、更全面的纹理细节信息,并可在保持光谱特性的同时尽可能提高MS图像的空间分辨率,获得视觉与指标评价更优的融合结果。(2).受到图像超分辨率思想的启发,提出一种基于多尺度密集网络的pan-sharpening方法。考虑到源图像与融合图像的高度相似性,该方法引入密集连接,设计了一个全新的端到端的pan-sharpening网络框架,能充分利用源图像的空间与光谱特征重建高分辨率MS图像。该网络构建了一种新的多尺度密集块,利用多尺度特征提取与密集连接提取丰富的分层特征;并在此基础上设计了全局密集连接结构实现特征的不断共享与复用,减少失真;通过全局残差学习使网络更加关注图像的变化部分,提高融合性能。通过实验分别验证了提出的多尺度密集块、全局密集连接和全局残差学习的有效性;实验结果表明,该方法的融合效果优于其它对比方法,例如在World View2数据集上的峰值信噪比提升了10%以上。