论文部分内容阅读
手写中文字符识别在文档检索、邮政分拣、票据转录等任务中有着广泛的应用。传统字符识别大多采用人工设计的特征,并在此基础之上利用机器学习模型对其进行分类。传统识别方法经过长时间研究取得了良好的进展,但是识别效果依然无法满足实际需求。近年来,随着GPU、TPU等并行计算硬件的发展以及深度学习理论研究的深入,基于深度学习的手写中文字符识别研究受到学术界的重视,其性能明显超过传统方法。然而,现有的深度学习模型也存在着不足,一是模型容易陷入对训练样本书写风格的过拟合,这将导致其在新书写风格样本上的分类性能大打折扣;二是现有的模型大多只适用于训练时确定了固定分类类别的闭集字符,对于闭集之外的新字符类别无法进行分类,这大大限制了模型的应用场景。为了解决上述问题,本文将深度学习中的风格对抗网络和孪生网络应用于手写中文字符识别任务,具体的研究工作如下:1.针对书写风格变化对识别性能产生影响的问题,提出了风格对抗网络SAN(Style Adversarial Network),通过字符识别与书写人识别的对抗训练,使得模型更好地抽取到书写风格无关的字符特征,从而提高模型的泛化性能。该网络包括三部分:特征提取器、字符分类器和书写人分类器。在特征提取器和书写人分类器之间加入梯度反转层GRL(Gradient Reversal Layer),使得反向传播时,特征提取器的参数朝书写人分类器梯度的负方向更新,从而抑制书写风格的过拟合倾向。模型在数据集ICDAR2013上取得了 97.27%的识别率,相比非风格对抗网络的模型高出0.39%。2.针对现有的网络只适用于类别预先确定的闭集问题,提出了适用于开集字符识别的孪生网络(Siamese Neural Network),该网络在训练阶段学习手写字符与字符判别模板之间的相似度,在预测阶段将手写字符多分类任务转换为手写字符与字符判别模板之间的多个二分类任务,从而实现开集上的字符识别。孪生网络具有两条结构不同、不共享权重的子网络,以此来适应不同的输入。通过在CASIA-HWDB1.0-1.2以及ICDAR2013上进行的一系列实验证明,本文提出的孪生网络在一级字符闭集的3755分类和二级字符闭集的3008分类任务上,准确率比现有最好的方法分别提高了 0.41%和1.9%。3.对适用于开集字符识别的孪生网络进行改进,提出了基于软注意力对齐的孪生网络 SNN-SAA(Siamese Neural Network-Soft Attention Alignment).软注意力对齐机制能够学习到手写字符和字符判别模板的相似特征的对应关系,从而更好的进行二者的相似度度量。软注意力对齐层通过计算手写字符和字符判别模板的注意力矩阵,对二者特征进行加权调整,从而使模型学习到相同笔划之间的相似性。通过在CASIA-HWDB1.0-1.2以及ICDAR2013上进行的一系列实验证明,加入软注意力对齐的SNN-SAA在一级字符闭集的3755分类和二级字符闭集的3008分类任务上,准确率相比非软注意力对齐模型分别提高了 4.92%和7.55%。