论文部分内容阅读
极光是发生在地球高纬度地区绚丽壮观的彩色发光现象，是由来自外层空间的电子和质子与大气中的原子和分子碰撞激发而产生。极光被视为地球磁层中演绎着太阳活动和变化的投影屏，是监测和探索近地空间物理过程的重要方式。极光形态与磁层边界层动力学过程关系密切，且直接受太阳风参数影响。极光形态及其演变过程的研究不仅有助于揭示太阳风-磁层-电离层耦合过程及其内在机理，而且为空间天气预报提供重要的物理依据，对于提高和改善极区通讯导航系统的精度具有重要意义。
在各类极光观测模式中，地面全天空极光成像具有高时空分辨率、可以持续获取等优点，已经成为观测和记录极光演变过程的重要手段。为了有效的利用海量全天空极光图像来分析极光形态及其演变过程，研究人员开发了多种基于机器学习与模式识别技术的自动分析方法，如全天空极光图像的检索、分类、分割等。然而由于极光形态复杂多变，现有方法的识别准确度仍然较低，且依赖于大量的人工标记样本。更重要的是，极光局部结构的识别及其物理参数的定量分析对于研究极光的物理过程具有重要意义，而现有方法不能满足极光局部结构的自动识别与分析需求。
针对以上问题，本文研究了基于弱监督、半监督和无监督深度学习的极光局部结构定位和极光图像分类方法，有效的提高了极光形态识别的准确率，从不同程度上减少了对样本标记量的需求，且实现了极光局部结构的自动识别与定位及其物理参数计算，并验证了其应用于分析海量全天空极光数据的可行性与有效性。本文主要研究成果概括如下：
(1)提出了基于弱监督语义分割的联合极光图像分类与关键局部结构定位方法。针对现有方法识别极光形态准确率低的问题，本文分析了极光专家识别极光类型的过程，发现极光专家通常首先在极光图像上定位出不同尺度的局部结构，通过分析这些局部结构来进一步判断极光的类别，本文模拟了该过程并将决定极光图像类别的局部结构定义为关键局部结构，利用语义分割方法实现了联合的关键局部结构定位与极光图像分类；针对现有语义分割方法应用于极光关键局部结构定位需要大量像素级标记数据的问题，本文提出了只需要图像级标记的弱监督语义分割方法，根据极光特有的性质，设计了图像块尺度模型和图像区域尺度模型来分别分析极光图像的细节特征和更加抽象的整体结构特征，同时实现极光关键局部结构定位和极光图像分类。本文方法的分类准确率比传统深度卷积神经网络方法提高5.5%，极光关键局部结构定位准确率比文献中性能最好的弱监督分割方法提高9.1%。在此基础上，本文进一步提出了基于半监督语义分割的极光图像分类方法，在仅增加少量的像素级标记数据条件下，分类准确率比传统深度卷积神经网络方法提高8.5%。
(2)提出了基于半监督学习的语义分割与实例分割方法。针对现有语义分割与实例分割方法需要大量的像素级标记而在很多场景(如全天空极光图像)难以应用的问题，本文提出了基于大量边界框级标记和少量像素级标记训练样本的半监督语义分割与实例分割方法。本文将语义分割与实例分割分解为三个模块，即目标检测模块、注意力模块和分割模块。首先，只需边界框级标记训练样本的目标检测模块实现了目标的识别与粗定位，然后通过注意力模块将语义分割简化为类别特异的二值分割问题，最后所有类别共用一个分割模块，该方法能够有效降低模型对像素级标记训练样本的需求，在自然图像数据集VOC2012上的测试结果证明了本文提出方法的有效性。
(3)提出了基于实例分割的极光弧宽全自动计算方法。针对现有全天空极光图像分析方法无法实现极光弧宽自动计算的问题，本文首次提出了基于实例分割的极光弧宽全自动计算方法。针对现有实例分割方法难以准确的对极光弧进行实例分割的问题，本文根据极光弧特性提出了两阶段推理过程和随机旋转训练策略，极大的提高了实例分割的准确率，比目前性能最好的实例分割模型MaskR-CNN的准确率提高了20+%。在此基础上本文设计了基于实例分割结果的自动弧宽计算方法，并将该方法应用于18417幅极光弧图像，得到了与现有手动标记方法一致的统计分析结果。为了能够同时实现图像中极光弧的识别与弧宽的计算，本文进一步设计了极光弧识别模块和相应的随机训练策略，并将该方法应用于分析包含多种极光类型数据集，验证了该方法的有效性。
(4)提出了基于自监督学习与注意力机制的深度聚类方法。针对现有深度聚类方法难以提取辨别性特征的问题，本文提出了基于自监督学习的语义聚类方法，直接预测样本的聚类标签而无需提取中间特征；针对现有深度聚类方法容易陷入简单解、难以捕获目标语义信息和难以处理大尺寸图像的问题，本文分别设计了最大熵损失函数、注意力映射机制和两步自学习算法。在5个自然图像聚类数据集上的测试结果表明：在STL10数据集上，本文提出的方法比现有最好深度聚类方法在三个聚类指标上分别提高了8%、7%和10%；在ImageNet-10上的聚类准确率提高5%；在其他数据集上实现了和现有性能最好的聚类方法相似的结果。本文进一步将提出的深度无监督聚类方法应用于全天空极光图像的自动分析，显著提高了极光图像的无监督聚类分析能力。
在各类极光观测模式中，地面全天空极光成像具有高时空分辨率、可以持续获取等优点，已经成为观测和记录极光演变过程的重要手段。为了有效的利用海量全天空极光图像来分析极光形态及其演变过程，研究人员开发了多种基于机器学习与模式识别技术的自动分析方法，如全天空极光图像的检索、分类、分割等。然而由于极光形态复杂多变，现有方法的识别准确度仍然较低，且依赖于大量的人工标记样本。更重要的是，极光局部结构的识别及其物理参数的定量分析对于研究极光的物理过程具有重要意义，而现有方法不能满足极光局部结构的自动识别与分析需求。
针对以上问题，本文研究了基于弱监督、半监督和无监督深度学习的极光局部结构定位和极光图像分类方法，有效的提高了极光形态识别的准确率，从不同程度上减少了对样本标记量的需求，且实现了极光局部结构的自动识别与定位及其物理参数计算，并验证了其应用于分析海量全天空极光数据的可行性与有效性。本文主要研究成果概括如下：
(1)提出了基于弱监督语义分割的联合极光图像分类与关键局部结构定位方法。针对现有方法识别极光形态准确率低的问题，本文分析了极光专家识别极光类型的过程，发现极光专家通常首先在极光图像上定位出不同尺度的局部结构，通过分析这些局部结构来进一步判断极光的类别，本文模拟了该过程并将决定极光图像类别的局部结构定义为关键局部结构，利用语义分割方法实现了联合的关键局部结构定位与极光图像分类；针对现有语义分割方法应用于极光关键局部结构定位需要大量像素级标记数据的问题，本文提出了只需要图像级标记的弱监督语义分割方法，根据极光特有的性质，设计了图像块尺度模型和图像区域尺度模型来分别分析极光图像的细节特征和更加抽象的整体结构特征，同时实现极光关键局部结构定位和极光图像分类。本文方法的分类准确率比传统深度卷积神经网络方法提高5.5%，极光关键局部结构定位准确率比文献中性能最好的弱监督分割方法提高9.1%。在此基础上，本文进一步提出了基于半监督语义分割的极光图像分类方法，在仅增加少量的像素级标记数据条件下，分类准确率比传统深度卷积神经网络方法提高8.5%。
(2)提出了基于半监督学习的语义分割与实例分割方法。针对现有语义分割与实例分割方法需要大量的像素级标记而在很多场景(如全天空极光图像)难以应用的问题，本文提出了基于大量边界框级标记和少量像素级标记训练样本的半监督语义分割与实例分割方法。本文将语义分割与实例分割分解为三个模块，即目标检测模块、注意力模块和分割模块。首先，只需边界框级标记训练样本的目标检测模块实现了目标的识别与粗定位，然后通过注意力模块将语义分割简化为类别特异的二值分割问题，最后所有类别共用一个分割模块，该方法能够有效降低模型对像素级标记训练样本的需求，在自然图像数据集VOC2012上的测试结果证明了本文提出方法的有效性。
(3)提出了基于实例分割的极光弧宽全自动计算方法。针对现有全天空极光图像分析方法无法实现极光弧宽自动计算的问题，本文首次提出了基于实例分割的极光弧宽全自动计算方法。针对现有实例分割方法难以准确的对极光弧进行实例分割的问题，本文根据极光弧特性提出了两阶段推理过程和随机旋转训练策略，极大的提高了实例分割的准确率，比目前性能最好的实例分割模型MaskR-CNN的准确率提高了20+%。在此基础上本文设计了基于实例分割结果的自动弧宽计算方法，并将该方法应用于18417幅极光弧图像，得到了与现有手动标记方法一致的统计分析结果。为了能够同时实现图像中极光弧的识别与弧宽的计算，本文进一步设计了极光弧识别模块和相应的随机训练策略，并将该方法应用于分析包含多种极光类型数据集，验证了该方法的有效性。
(4)提出了基于自监督学习与注意力机制的深度聚类方法。针对现有深度聚类方法难以提取辨别性特征的问题，本文提出了基于自监督学习的语义聚类方法，直接预测样本的聚类标签而无需提取中间特征；针对现有深度聚类方法容易陷入简单解、难以捕获目标语义信息和难以处理大尺寸图像的问题，本文分别设计了最大熵损失函数、注意力映射机制和两步自学习算法。在5个自然图像聚类数据集上的测试结果表明：在STL10数据集上，本文提出的方法比现有最好深度聚类方法在三个聚类指标上分别提高了8%、7%和10%；在ImageNet-10上的聚类准确率提高5%；在其他数据集上实现了和现有性能最好的聚类方法相似的结果。本文进一步将提出的深度无监督聚类方法应用于全天空极光图像的自动分析，显著提高了极光图像的无监督聚类分析能力。