基于深度学习的图像和视频修复方法的研究

• 作 者: 薄德智
• 机 构: 上海大学
• 出 处: 上海大学
• 发表日期: 2021年01期
• 关键词: 图像/视频修复 深度学习 结构图 Transformer 时空域特征

随着互联网的高速发展和5G网络的逐渐普及,图像和视频信息逐渐取代文字成为最重要的信息载体,也随之诞生了以美图秀秀和剪映为代表的图像处理和视频剪辑APP,这些软件降低了Photo Shop、Premiere等高级图像和视频处理软件的使用门槛,使得人人皆可处理图像和视频。其中,图像和视频修复是这些处理软件中最重要的功能需求之一,在图像编辑和去除水印等方面有着极其重要和广泛的应用。但是,现有的修复技术在修复图像和视频时往往会带来模糊的修复效果,受损目标很难得到有效的还原。随着深度学习的兴起,基于卷积神经网络（Convolutional Neural Networks,CNN）和生成对抗网络（Generative Adversarial Networks,GAN）的图像和视频修复方法展现了非凡的修复能力,能够生成以假乱真的内容,具有重要的研究价值和应用前景。因此,本文着眼于基于深度学习的图像和视频修复方法的研究,提出了结构图引导的两阶段图像修复模型和基于Transformer的时空域视频修复模型。（1）提出了一种结构图引导的两阶段图像修复模型。为了更好地引导修复网络进行训练,我们验证了结构图作为先验信息在两阶段网络中发挥着重要的作用。基于此,整个模型分为两个子网络:结构生成网络和纹理生成网络。首先,为了使纹理和结构分离,我们采用了基于相对总变差（Relative Total Variation,RTV）的算法去除纹理,得到轮廓清晰的结构;接着,将得到的受损结构图和受损的灰度化图像一起输入结构生成网络,获得修复的结构图;然后,使用修复后的结构图经由纹理生成网络来引导受损图像的修复,得到完整的图像。我们使用了重建损失、对抗性损失、风格损失和感知损失在Places2、Celeb A以及Paris Street View3个主流数据集上对模型进行端到端的训练并测试,实验结果的主观质量评价和客观质量评价都显示出我们的模型具有良好的修复效果。与对照方法比较,我们的模型在三个数据集上的平均峰值信噪比（Peak Signalto Noise Ratio,PSNR）提升了0.16dB～3.04dB。同时,我们增加了消融实验研究,通过与去除结构生成网络的模型进行对比,进一步证明了两阶段网络和结构图引导对我们模型的重要性和有效性。（2）提出了一种基于Transformer的时空域视频修复模型。Transformer的注意力机制能够有效获取参考帧的相关信息,提升网络获取相似特征的能力,对受损内容的填充起到了很好的引导作用。基于此,整个模型分为四个部分:多帧编码器、残差模块、Transformer模块和多帧解码器。受损视频帧通过多帧编码器变成多维特征图;残差模块加深网络并进一步提取特征;Transformer获取参考帧的有效信息,通过注意力机制查询受损帧的相关特征;多帧解码器通过上采样将视频帧恢复成原始大小。其中,Transformer模块作为整个网络的核心,采用了8层4头的多尺度注意力模型,将特征图嵌入成查询向量、键向量和值向量,并根据“嵌入—匹配—关注”得到多尺度融合后的注意力结果。我们使用了重建损失、基于时域PatchGAN的对抗性损失、风格损失和感知损失在YouTube-VOS和DAVIS数据集上对网络进行训练和测试。其中,时域PatchGAN鉴别器提高了网络对视频帧在时空域上分布特征的感知性能。实验结果显示,相比之前的方法,我们的模型在主观质量评价和客观质量评价上都取得了更好的修复效果,在2个数据集上的平均PSNR提升了1.14dB～5.26dB。