论文部分内容阅读
在数字图像拍摄过程中，当拍摄对象与感光元件的空间频率接近时，往往会出现摩尔纹现象。由于电子屏幕具有网格状采样的特点,因此拍摄电子屏幕更易出现摩尔纹现象。本文称相机拍摄电子屏幕时出现的摩尔纹为屏幕图像摩尔纹，其色彩和形态多变，与图像内容难以区分，严重影响了成像的视觉质量。当今时代，用相机记录屏幕内容已成为一种快捷、重要的记录方式，因此研究屏幕图像摩尔纹的去除算法具有重要意义。
目前屏幕图像摩尔纹去除算法还鲜有研究。鉴于深度学习算法近年来在图像复原领域有着优异的表现，本文构建了关于屏幕图像摩尔纹的两种数据集，对应提出了两种基于深度学习的摩尔纹去除算法。本文的主要内容及创新点如下：
1．提出基于卷积神经网络的屏幕图像去摩尔纹算法。由于相机拍摄的屏幕摩尔纹图像没有显式的真值图像与之对应，本文首先提出了一个基于对齐变换与图像分解的无摩尔纹图像合成算法。为了减轻后续从摩尔纹图像到无摩尔纹图像映射的难度，所合成的无摩尔纹图像与摩尔纹图像具有相近的亮度。所创建的摩尔纹数据集(MPI)为后续有监督的去摩尔纹算法以及图像质量评价提供了支撑。基于合成的数据集，本文构建卷积神经网络学习从摩尔纹图像到干净图像的端到端映射。在网络训练过程中，采用均方差损失，感知损失以及对抗损失所组成的联合损失函数进行约束。实验表明，该算法可以在有效去除摩尔纹的同时很好地保留图像的细节信息，在客观评价和主观评价上都优于多种现有算法。
2．提出基于加乘网络的屏幕图像去摩尔纹及提亮算法。相机拍摄的屏幕摩尔纹图像与原始屏幕内容存在明显的亮度差，屏幕内容亮度更高，而且高亮度图像更符合人眼的视觉偏好。因此该算法旨在去除摩尔纹的同时，恢复高亮度的无摩尔纹图像。该算法首先合成无摩尔纹图像，其中合成的摩尔纹图像与原始的屏幕内容具有相似的亮度，基于该合成算法创建新的摩尔纹数据集(MRBI)。在该数据集基础上，提出了一个加乘网络，学习从低亮度的摩尔纹图像到高亮度的干净图像的映射。该加乘网络由加法模块和乘法模块串联组成，以自适应地学习如何在去摩尔纹的同时提高亮度。实验表明该算法不仅能够有效地去除摩尔纹，也能充分提高图像亮度，有更好的视觉效果。
目前屏幕图像摩尔纹去除算法还鲜有研究。鉴于深度学习算法近年来在图像复原领域有着优异的表现，本文构建了关于屏幕图像摩尔纹的两种数据集，对应提出了两种基于深度学习的摩尔纹去除算法。本文的主要内容及创新点如下：
1．提出基于卷积神经网络的屏幕图像去摩尔纹算法。由于相机拍摄的屏幕摩尔纹图像没有显式的真值图像与之对应，本文首先提出了一个基于对齐变换与图像分解的无摩尔纹图像合成算法。为了减轻后续从摩尔纹图像到无摩尔纹图像映射的难度，所合成的无摩尔纹图像与摩尔纹图像具有相近的亮度。所创建的摩尔纹数据集(MPI)为后续有监督的去摩尔纹算法以及图像质量评价提供了支撑。基于合成的数据集，本文构建卷积神经网络学习从摩尔纹图像到干净图像的端到端映射。在网络训练过程中，采用均方差损失，感知损失以及对抗损失所组成的联合损失函数进行约束。实验表明，该算法可以在有效去除摩尔纹的同时很好地保留图像的细节信息，在客观评价和主观评价上都优于多种现有算法。
2．提出基于加乘网络的屏幕图像去摩尔纹及提亮算法。相机拍摄的屏幕摩尔纹图像与原始屏幕内容存在明显的亮度差，屏幕内容亮度更高，而且高亮度图像更符合人眼的视觉偏好。因此该算法旨在去除摩尔纹的同时，恢复高亮度的无摩尔纹图像。该算法首先合成无摩尔纹图像，其中合成的摩尔纹图像与原始的屏幕内容具有相似的亮度，基于该合成算法创建新的摩尔纹数据集(MRBI)。在该数据集基础上，提出了一个加乘网络，学习从低亮度的摩尔纹图像到高亮度的干净图像的映射。该加乘网络由加法模块和乘法模块串联组成，以自适应地学习如何在去摩尔纹的同时提高亮度。实验表明该算法不仅能够有效地去除摩尔纹，也能充分提高图像亮度，有更好的视觉效果。