论文部分内容阅读
近年来,以对地观测为主要任务的陆地卫星数量呈爆发式增长,其中光学遥感影像被广泛应用于土地利用分类、城市规划、农作物估产、灾害监测等领域,然而,光学遥感影像很容易受到云的影响。为了提取和恢复遥感影像中被破坏的信息,厚云检测和薄云去除成为遥感影像预处理的关键一步。针对厚云和薄云一般采用不同的处理方式:厚云完全阻挡了地表信息,一般以检测为主;薄云可以透射部分地表信息,主要以去除为主。近年来比较热门的深度学习也被用于厚云检测和薄云去除,取得了很好的效果。但是目前使用的多为全监督的深度学习方法,需要大量的参考影像作为学习对象,模型训练需要大量的人工标记样本,耗时费力,且模型庞大、参数量数以百万计,存在大量的冗余,并且多数方法只利用了多光谱图像的高空间分辨率波段。针对这些问题,本文以中高分辨率遥感影像为研究对象,利用公开发布的Landsat 8和Sentinel-2影像开展厚云检测和薄云去除方法研究,提出基于块尺度的弱监督厚云检测模型和顾及云的双向透射的薄云去除模型,及多尺度特征融合的厚云检测方法和薄云去除方法。本文主要工作和贡献如下:1、提出了一种基于块尺度的弱监督厚云检测模型CD-BLL（Weaklysupervised Cloud Detection method based on Block Level Labels）。该模型将生成对抗网络和注意力机制相结合,可以实现由块尺度标签到像素尺度标签的准确预测。考虑到全监督的深度学习厚云检测方法需要大量的人工标记的云掩膜作为训练数据,而标记这些云掩膜是十分耗时费力的问题,研究提出利用块尺度标签（该图像是否有云）的数据训练一个能够在像素尺度分类（该像素是否为云）的模型。本文通过分析厚云在遥感影像中的视觉特性,假设有云和无云图像之间最显著的差别只有云,从解决图像之间的差异是什么到差异在哪里的角度出发,构建了能准确定位图像显著性差异的注意力机制,实现厚云的检测。针对注意力会扩散到整幅图像的问题,设计了注意力收缩机制,约束模型只将注意力集中在厚云区域。针对高亮地物容易和云混淆的问题,研究提出一个注意力优化机制,对完全无云的图像,引入一个参考掩膜,让模型在此类图像上不产生注意力。为了解决图像间显著性差异检测需要其具备空间一致性的问题,提出利用其它地区的无云图像作为当前地区有云图像的参考,引入生成对抗网络来衡量它们之间差异的显著性,引导注意力机制向正确的方向优化,在厚云区域产生更多的注意力。实验结果表明CD-BLL在Landsat 8和Sentinel-2厚云检测数据集上达到82.93%和96.56%的整体精度。2、提出了一种顾及云的双向透射的薄云去除模型CRTTPM（Cloud Removal Considering Two-way Transmission in Physical Model of Cloud Distortion）。目前常用的云畸变物理模型只考虑了云的向上透射作用,本文通过分析太阳辐射和薄云之间的交互作用,引入薄云的向下透射和吸收作用,构建新的云畸变物理模型,可以更加准确地描述太阳辐射传输和薄云的交互过程。针对双向透射过程复杂、难以分离的问题,研究提出通过引入一个纠正项,使得模型满足一个恒等式,便于参数求解。通过假设地物反射率与本身属性强有关,与薄云弱相关,建立薄云图像中云畸变层的提取原则,并利用生成对抗网络提取云畸变层。考虑到去除薄云后的图像与原始薄云图像具有较强的相关性,设计了图像重建过程,保证在去除薄云的同时,保留尽可能多的背景信息。针对无云区域在薄云去除过程中不应改变的原则,设计了一个优化过程,让模型只改变薄云区域的信息,保持无云区域不变。在全球分布的Sentinel-2薄云去除数据集上,CRTTPM在可见光近红外波段达到21.49以上的峰值信噪比和0.79以上的结构相似性。3、提出了多尺度特征融合的厚云检测算法CD-FM3SF（Cloud Detection Fusing Multi-Scale Spectral and Spatial Features）和薄云去除算法CR-FM3SF（Cloud Removal Fusing Multi-Scale Spectral and Spatial Features）。两种算法利用多输入输出全卷积网络自动融合处理多光谱、多分辨率波段,提升厚云检测和薄云去除精度。针对多光谱卫星一般都含有分辨率较低的短波红外波段,如Sentinel-2A/B、CBERS-04、ZY-1 02D和HJ-1B等,大部分厚云检测和薄云去除方法只处理高分辨率波段或者将所有波段采样到同一空间分辨率再进行处理,前者不能充分利用其他波段光谱信息,后者的重采样过程会引入噪声。研究提出构建多个全卷积的输入分支,自动逐层处理多分辨图像的同时融合多光谱特征,设计多个输出分支,根据学习目标对不同尺度的厚云检测和不同波段的薄云去除施加监督信息。同时,常规全卷积网络模型存在参数巨大,难以训练的问题,研究设计了混合深度可分离卷积模块MDSC（Mixed Depth-wise Separable Convolution）、双路深度可分离卷积模块DDSC（Double-path Depth-wise Separable Convolution）、共享空洞残差模块SDRB（Shared Dilated Convolution Residual Block）、并行下采样残差模块PDRB（Parallel Down-sample Residual Block）合并求和残差结构CS（Concatenation and Sum）和CS+。MDSC和DDSC在极大减少网络参数的同时,能够提取及融合多尺度特征;SDRC模块在不几乎增加参数的同时,成倍扩大感受野,并能够消除空洞卷积造成的网格伪影;PDRB、CS和CS+结构分别针对厚云检测和薄云去除方法中不同的下采样手段,在不增加参数的情况下,建立了一个多尺度特征融合的快速通道,使各网络层输出直达最底层。CD-FM3SF在中国分布的Sentinel-2厚云检测数据集上达到98.57%的整体精度;CR-FM3SF在全球分布的Sentinel-2薄云去除数据集上达到31.03以上的峰值信噪比和0.90以上的结构相似性。4、制作了首个包含块尺度的武汉大学厚云检测和薄云去除数据集WHUCDR（Wuhan University Cloud Detection and Removal Dataset）,该数据集包括5个子数据集:·WHUL8-CDb为分布在全球285个区域,覆盖969万平方公里的Landsat8数据集,WHUS2-CDb是分布在中国大陆地区94个区域,覆盖112万平方公里的Sentinel-2数据集,两者均为首个块尺度厚云检测数据集;·WHUS2-CDv首次将云掩膜分辨率提升到10米,为分布在中国大陆地区36个区域覆盖43万平方公里的像素尺度Sentinel-2厚云检测验证数据集;·WHUS2-CRv是分布在全球123个区域,覆盖147万平方公里的短时间间隔薄云/无云影像对的Sentinel-2薄云去除数据集;·WHUS2-CRb是由分布在全球246个区域,覆盖294万平方公里的薄云/无云Sentinel-2影像构成的首个块尺度薄云去除数据集。