论文部分内容阅读
随着不同分辨率的移动设备数量的快速增长，如何将视频适配于多样的移动设备成为一项重要的研究课题。视频缩放技术将视频分辨率缩放至目标分辨率或长宽比以适应不同的播放设备。传统的视频缩放方法，例如均匀缩放或裁剪视频内容，通常会造成视频失真或内容损失，从而效果较差。基于内容感知的视频缩放方法，在改变视频分辨率的同时，能够保持视频中关键对象的形状，并协调视频帧之间的时间一致性和空间一致性，从而产生更少的视频伪影，提供了更加愉悦的观看体验。内容感知的视频缩放方法通常分为两种：基于接缝裁剪的视频缩放方法和基于网格的视频缩放方法。基于接缝裁剪的视频缩放来源于图像缩放中的接缝裁剪技术，同时考虑当前帧和相邻帧的一致性信息，找到最佳接缝对视频进行缩放；而基于网格的视频缩放将每帧视频划分为固定尺度的网格，通过连续帧之间的一致性信息对网格进行缩放。
近几年来，研究者们提出了很多视频缩放方法并取得了较好的效果。然而，当前的视频缩放方法还有很多不足：（1）基于接缝裁剪的方法通常在单帧处理上有较好的效果，能够较好地保持单帧图像的空间一致性，但往往无法处理好多帧视频之间的时间一致性，导致出现视频伪影和抖动。此外，由于采用的动态规划方法时间复杂度过高，导致这类方法往往非常耗时。大部分基于接缝裁剪的方法无法很好地协调时间一致性和空间一致性，在处理包含高速运动对象的视频时效果较差。（2）基于网格的方法通常能够在多帧之间保持较好的时间一致性，从而产生较少的视频抖动。但由于处理粒度较粗（基于网格），该方法会在视频中产生较多变形，单帧处理效果较差。此外，虽然基于网格的方法处理速度较快，但通常需要一次性处理所有的视频帧，因此不能应用于实时视频流，导致方法应用上有较大的局限性。基于网格的方法在处理包含低速运动对象的视频上有较好效果，但对于具有高速运动目标的视频流，则会丢失时间一致性，导致效果较差。
针对当前视频缩放算法存在的问题，本文拟开展基于接缝裁剪的视频缩放技术的研究，本文的主要研究内容包括：
(1)基于时空一致性的视频缩放能量函数
目前基于接缝裁剪的视频缩放方法大都采用连续接缝来改变视频分辨率，然而这种做法的缺陷十分明显。对于相隔的两帧视频，帧间连续的接缝虽然能够较好地保持时间一致性，但同样有可能造成下一帧的关键目标被扭曲，产生视频伪影或抖动，导致缩放效果较差。为了解决这些问题，我们提出了一种新的基于时空一致性的能量函数，得到的接缝能够避免产生视频伪影，产生更好的缩放效果。
(2)基于遗传算法的视频缩放方法
基于接缝裁剪的视频缩放算法，核心步骤之一就是查找要删除或添加的接缝。在已提出的方法中，通常使用动态规划算法在能量图上查找能量值最低的接缝。然而，这种方法需要扫描能量图上的所有可能路径，时间复杂度非常高，从而导致算法执行效率低下。我们观察到，对于视频缩放来说，次优接缝的缩放效果与最优接缝的缩放效果类似。因此，我们采用了遗传算法来代替动态规划算法执行接缝查找过程，在保证算法执行效果的情况下，极大地降低了算法运行的时间复杂度。与目前的最佳方法相比，我们的算法执行速度达到了该方法的三倍。
综上所述，本文旨在开展基于接缝裁剪的快速视频缩放算法的研究。针对目前基于接缝裁剪的方法无法协调好时空一致性的缺陷，本文提出了新的时空一致性能量函数，很好地解决了时空一致性的协调问题，提升了算法的运行效果；此外，为解决基于接缝的视频缩放方法时间复杂度过高的问题，本文使用遗传算法代替动态规划执行接缝查找过程，极大提升了算法的运行速度。
近几年来，研究者们提出了很多视频缩放方法并取得了较好的效果。然而，当前的视频缩放方法还有很多不足：（1）基于接缝裁剪的方法通常在单帧处理上有较好的效果，能够较好地保持单帧图像的空间一致性，但往往无法处理好多帧视频之间的时间一致性，导致出现视频伪影和抖动。此外，由于采用的动态规划方法时间复杂度过高，导致这类方法往往非常耗时。大部分基于接缝裁剪的方法无法很好地协调时间一致性和空间一致性，在处理包含高速运动对象的视频时效果较差。（2）基于网格的方法通常能够在多帧之间保持较好的时间一致性，从而产生较少的视频抖动。但由于处理粒度较粗（基于网格），该方法会在视频中产生较多变形，单帧处理效果较差。此外，虽然基于网格的方法处理速度较快，但通常需要一次性处理所有的视频帧，因此不能应用于实时视频流，导致方法应用上有较大的局限性。基于网格的方法在处理包含低速运动对象的视频上有较好效果，但对于具有高速运动目标的视频流，则会丢失时间一致性，导致效果较差。
针对当前视频缩放算法存在的问题，本文拟开展基于接缝裁剪的视频缩放技术的研究，本文的主要研究内容包括：
(1)基于时空一致性的视频缩放能量函数
目前基于接缝裁剪的视频缩放方法大都采用连续接缝来改变视频分辨率，然而这种做法的缺陷十分明显。对于相隔的两帧视频，帧间连续的接缝虽然能够较好地保持时间一致性，但同样有可能造成下一帧的关键目标被扭曲，产生视频伪影或抖动，导致缩放效果较差。为了解决这些问题，我们提出了一种新的基于时空一致性的能量函数，得到的接缝能够避免产生视频伪影，产生更好的缩放效果。
(2)基于遗传算法的视频缩放方法
基于接缝裁剪的视频缩放算法，核心步骤之一就是查找要删除或添加的接缝。在已提出的方法中，通常使用动态规划算法在能量图上查找能量值最低的接缝。然而，这种方法需要扫描能量图上的所有可能路径，时间复杂度非常高，从而导致算法执行效率低下。我们观察到，对于视频缩放来说，次优接缝的缩放效果与最优接缝的缩放效果类似。因此，我们采用了遗传算法来代替动态规划算法执行接缝查找过程，在保证算法执行效果的情况下，极大地降低了算法运行的时间复杂度。与目前的最佳方法相比，我们的算法执行速度达到了该方法的三倍。
综上所述，本文旨在开展基于接缝裁剪的快速视频缩放算法的研究。针对目前基于接缝裁剪的方法无法协调好时空一致性的缺陷，本文提出了新的时空一致性能量函数，很好地解决了时空一致性的协调问题，提升了算法的运行效果；此外，为解决基于接缝的视频缩放方法时间复杂度过高的问题，本文使用遗传算法代替动态规划执行接缝查找过程，极大提升了算法的运行速度。