多方向及任意形状的场景文本检测关键技术研究

• 作 者: 肖瑶
• 出 处: 南京大学
• 发表日期: 2004年期
• 关键词: 场景文本检测 卷积神经网络 注意力机制 特征融合 可变形卷积

近年来,随着以卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)为代表的深度学习的兴起,场景文本检测的研究取得了新的发展。然而,由于以下两个因素的存在,场景文本检测仍是一项?分具有挑战性的任务。其一,自然场景中的图片往往具有复杂的背景,这很容易对检测过程造成干扰。其二,自然场景中文本的形态?分多样,水平文本和倾斜文本、直线型文本和曲线型文本可能同时存在于一张场景图片中。为了更好地解决多方向及任意形状的场景文本检测问题,本文在Mask R-CNN的基础之上对此问题的关键技术进行了研究,并提出了两个算法。本文主要内容如下:(1)针对场景图片背景中类似文本的物体容易被误分类为文本的问题,本文提出了融合注意力机制和实例分割的场景文本检测算法。在Mask R-CNN的基础之上,本文提出了一种新的注意力机制模块——文本上下文感知注意力模块(Text-context-aware Attention Module,TCAM)。TCAM同时运用了通道注意力机制和空间注意力机制,并通过相加把这两种形式的注意力机制结合了起来。在该算法的网络架构中,TCAM被衔接到了原始的Mask R-CNN的特征金字塔的每一层之后。TCAM能够有效抑制类似文本的背景物体产生的负正例检测框,从而提升了检测性能。该提出的算法在ICDAR2015和ICDAR2017-MLT这两个数据集上分别取得了84.60%和70.20%的F值。(2)为了更好地应对场景文本的尺度变化,本文进一步提出了基于多层次特征融合的场景文本检测算法。在Mask R-CNN的基础之上,本文提出了金字塔特征融合模块和多层Ro I特征融合模块来改进原始的Mask R-CNN中特征金字塔的构建方式和利用方式,来提高算法应对文本尺度变化的能力。金字塔特征融合模块同时使用了自顶向下和自底向上两条特征融合路径,使浅层和深层特征的信息得到了充分的交换与融合。这种融合方式同时增强了用于检测小文本的浅层特征和用于检测大文本的深层特征的表达能力,同时提高了小文本和大文本的检测性能。多层Ro I特征融合模块结合了特征金字塔中的所有层次的特征图来为文本候选区域抽取用于预测的特征,这使得抽取的特征能够更好地突出文本实例的局部与全局特性,进一步提高了算法的整体检测性能。最后,该算法在骨干网络中利用了可变形卷积,使得算法应对文本尺度变化的能力得到进一步强化。该提出的算法在ICDAR2013、ICDAR2015、ICDAR2017-MLT和SCUT-CTW1500这四个数据集上分别取得了93.01%、87.80%、76.39%和84.15%的F值。