基于深度学习的光学图像场景感知算法研究

• 作 者: 庞江淼
• 出 处: 浙江大学
• 发表日期: 2021年01期
• 关键词: 深度学习 光学图像 场景感知 目标检测 实例分割 多目标跟踪

光学图像是现实世界的重要载体,是机器视觉系统感知外界环境的窗口。光学图像中的场景感知技术旨在通过计算机视觉算法,使智能系统可以自主理解图像中的内容,比如其中物体的类别与位置。它是许多视觉系统的基石,被广泛应用于通用场景感知、遥感信息监测、智能驾驶系统等不同场景中,拥有极大的社会经济价值。光学图像的内容多种多样,其中存在着各种各样的物体。通常来说,图像中的信息主体多为这些物体,因此针对它们的感知算法研究尤为重要。本文基于深度学习技术,对光学图像中的场景感知算法,尤其是物体感知算法进行了深入探索。本文力求通过一系列算法设计,能够在任何成像条件和任意场景下对一张图像或图像序列中的物体进行检测、分割与跟踪,从而完成一体化的鲁棒高效的光学图像场景感知系统。本文首先从场景感知最基础的问题目标检测出发,针对大尺度光学遥感图像中的小目标检测问题展开研究。该场景由于图像尺度大、目标尺度小,因此相应的目标检测算法通常存在速度慢、精度低等问题。本文针对此问题设计了一种面向遥感的区域卷积神经网络(R2-CNN)。该网络由轻量级主干网络,全局注意力模块以及最终的子区域分类和检测器组成。其中,子区域分类和检测器通过端到端的训练方式相互增强,从而能够进一步加快收敛并避免误检。该方案在单线程TitianX处理下,仅花费29.4秒即可完成对一张高分一号遥感图像的检测处理,并可达到99%的准确率。该方案是首个能够在如此大尺度遥感图像上进行目标检测的方案,已被应用到实际产业应用中。立足于目标检测,对物体更精准的像素级检测任务被称为实例分割。近年来,相关工作通常采用不同的模型结构来改善检测器的性能,对检测器的训练方式却少有关注。本文发现现有检测器的训练方式均遵循同一范式,而这个范式在很多方面都是不均衡的,从而限制了检测器的整体性能。因此,本文提出了基于均衡学习的区域卷积神经网络(LibraR-CNN)来缓解这一现象。它集成了基于样本交并比的均衡采样,特征均衡金字塔和损失函数样本权重再分配策略来分别缓解样本、特征、损失函数方面的不均衡。该方案是首个系统性分析目标检测器训练不均衡的算法,能够在几乎不增加推理耗时的情况下提升检测器的检测与分割性能,在实际应用部署及MSCOCO,PascalVOC,LVIS等数据集上均有良好表现。现实世界是动态序列化的,对真实场景中的物体进行持续感知则避不开多目标跟踪。尽管目标检测与目标跟踪是高度耦合的,但在近期的方法中他们却多是相互独立的两个模块。本文提出准稠密相似度学习并建立了端到端、一体化的多目标检测与跟踪框架QDTrack。该方案仅需在任意目标检测器上新增一个轻量网络以对不同物体进行编码。与固有的稀疏学习方式不同,准稠密相似度学习在一对图像上挑选大量的准稠密候选框,并对其进行稠密匹配以进行相似度对比学习。这一方式极大提升了网络对物体的编码能力,使得跟踪器在无需帧间位移估计或运动估计的情况下,仅通过对物体编码特征空间的最近邻搜索即可完成多目标跟踪。该方案简单有效,在现有的多目标跟踪数据集如MOT,BDD100K,Waymo与TAO上均取得了最好成绩。综上,本文基于深度学习技术,立足于不同光学成像条件下的具体场景,对多目标检测、分割与跟踪算法进行了深入探索。本文的系列算法极大的提升了机器视觉系统的感知能力,仅依赖单个模型即可完成光学图像中的目标检测、分割与跟踪,相应成果已应用或可应用于遥感监测、智能驾驶等实际场景中,有较大的应用潜力。