基于深度学习的文本图像重建方法研究

• 作 者: 陈赛健
• 出 处: 天津师范大学
• 发表日期: 2020年01期
• 关键词: 超分辨率 去模糊 双分支结构 生成对抗网络 文本图像

文本图像已成为人们在日常生活中传递信息的重要载体,图像的分辨率与清晰度是衡量图像质量的重要指标。然而,受到硬件设施以及一些外部因素的影响,人们经常难以获得清晰的高分辨率文本图像。为了提高文本图像的可读性,同时帮助后续的文本检测、文字识别等工作,文本图像的重建技术极具意义。近几年,深度学习在图像的重建任务中取得了快速的发展,图像超分辨率与去模糊作为图像重建技术的重要内容,它们通常被分开使用,但生活中存在大量低分辨率且多源模糊的图像。现有的超分辨率方法大多是为已知的单一降采样产生的退化图像设计的,当输入图像具有复杂模糊时,无法重建清晰的超分辨率图像。同时,去模糊算法不能扩大图像的空间分辨率,并由于输入图像分辨率较低导致重建的图像缺乏足够的细节信息。因此,本文提出了基于深度学习的文本图像联合超分辨率与去模糊方法。本文的主要工作如下:第一,提出了基于双分支结构的文档图像联合超分辨率与去模糊方法,该方法将这个联合问题解耦为去模糊分支和超分辨率重建分支,这两个分支共享一个特征提取主干网络,各网络模块间相互促进,利用去模糊分支促使特征提取网络生成更多具有高频信息的特征图,以此来提升超分辨率分支中重建文档图像的质量。其中,特征提取网络采用了对称的残差编码-解码结构,这有利于扩大感受野和融合不同层级之间的信息。在网络模型中还使用了尺度递归的方式来生成高倍上采样因子的清晰图像,这种方式能显著降低模型的参数量,提升了图像的重建效率。第二,提出了基于生成对抗网络的场景文本图像联合超分辨率与去模糊方法。该方法的生成器由上采样网络和去模糊网络两部分构成,上采样网络先完成输入图像的上采样工作,去模糊网络再精细上采样图像,以提升图像重建效果。生成器网络还采用了一种“由粗到精”的策略,以逐步生成高倍上采样因子的清晰图像。此外,还使用了多尺度鉴别器,即将不同尺度下的重建图像输入到鉴别器中,该鉴别器利用融合不同尺度的信息来提升判别力,并通过对抗的过程以提高生成图像的质量。第三,提出了合成逼真运动模糊图像的方法,该方法首先通过马尔科夫过程生成随机的轨迹,轨迹中下一点的位置是依据前一个点随机生成的;然后对轨迹采用亚像素插值的方式来生成模糊核;最后将清晰图像与生成的模糊核卷积以得到相应的模糊图像。在构建的数据集和真实场景上的实验结果表明,本文所提方法能够获得比现有方法更好的重建效果。