论文部分内容阅读
随着网络化政务办公的发展，视频分割、存储及基于内容的检索的研究和开发变得越来越重要。本课题来源于吉林省科技发展计划项目：面向对象的多媒体数据库及在政府政务信息处理中的应用。分割和分类视频序列是建立面向对相多媒体数据库不可缺少的一部分。对视频序列进行分割，传统的方法是通过比较连续的视频帧之间像素间的灰度直方图差异来实现的。基于像素的方法能够检测出由各种灰度差异产生的镜头边界，但它在某种程度上，忽略了连续帧之间存在的语义信息。基于直方图方法选择视频图像的灰度级统计分布差异作为检测镜头边缘的测度，进行视频内容的分割，但是这种方法通常产生的结果不理想，尤其当视频内容变化在颜色空间是缓慢不明显的时候，比如摄像机的运动等，这种方法检测边缘达不到令人满意的结果。本文中提出了一种新的方法来解决视频分割问题。为了弥补基于像素法的影响，我们考虑了目标在背景中的变化特征。在背景相对静止目标移动或者目标相对静止而摄像机在移动的情况下，连续帧之间目标的轮廓变化较小。将连续帧间的这两个特征投影到特征空间，通过聚类特征空间中的特征点，可以检测出显著变化的镜头边缘帧(通常称突变)以及非显著变化的镜头边缘帧(通常称为渐变)，这里我们应用基于目标函数的模糊c均值算法完成特征点聚类过程。为了从视频镜头中选择能够表述这一镜头内容的代表帧，平均直方图是传统使用的方法，然而这种方法的结果通常并不令人满意。因为靠近镜头边缘的视频帧会对镜头的平均内容增加噪声，同时也影响了视频序列间的关键帧的选择。为了减小这种影响，我们选择视频帧背景中具有最大目标轮廓的帧作为这一镜头的关键帧，因为视频中较多的目标通常携带了较多的信息。这种处理方法将在下面部分简介。第一部分是关于镜头边缘的检测。当视频序列中连续帧之间的颜色分布发生变化时，一个镜头的边缘就会产生, 这里我们选择连续帧之间的这种差异作为检测过程的主要方法。传统方法逐像素计算帧间像素的灰度差异，然后计算这些差异的绝对和，这种方法忽略了帧序列之间的像素邻域位置像素值之间的相关性。考虑到这一特点，我们选择相邻帧之间对应像素点及其8邻域内对应点进行像素灰度差异统计。连续帧之间这一区域内点的差异的最小值作为这一位置像素的颜色差异，应用这种方法逐点计算整个视频帧中像<WP=76>素点的灰度差异我们就可以得到检测镜头边缘的主要特征。仅仅应用这一特征我们就可以检测出视频中存在的部分镜头边界，尤其是当突变镜头边界出现的时候。但是，对于视频中存在的渐变镜头，仅应用这种方法得到的效果将不会令人满意。这一问题通常是由于目标和摄像机的运动引起的，为了解决这个问题，我们选择视频间目标变化的差异作为镜头边缘检测的辅助特征。 在目标或摄像机发生移动而整体颜色分布变化不明显的情况下，目标轮廓及位置的变化就在镜头边缘检测中起到了主导作用。对轮廓中目标边缘的检测，我们使用Canny算子。由于经过梯度算子提取的目标轮廓通常呈现不规则特性，如果直接用它来统计轮廓差异，结果偏差将会较大，因此，这里我们应用形态学方法处理检测出的目标轮廓。同时我们计算了目标轮廓在背景中所占比例的变化差异，通过帧间的之以特征的分布规律来检测镜头边界。这个特征也将作为关键帧的选择的参考标准。我们结合了视频帧间图像颜色分布差异和目标轮廓变化差异这两个特征进行视频镜头帧的检测，得到了比较好的实验结果。当颜色分布特征在检测边缘帧不敏感的情况下，目标的轮廓差异特性将起到互补检测的作用。确定了检测特征值后，下一步将是对特征点进行分类，将其代表的视频帧划分到不同的镜头单元之中。在第二部分，我们应用基于目标函数的模糊c均值算法将特征空间中的点聚类到显著变化的镜头(切变)和非显著变化的镜头(渐变)之中。模糊c均值算法较曾经使用的k均值算法更适合镜头边缘检测。k均值算法将视频镜头分割成明显的两个类别，即内容显著变化镜头和内容无变化镜头。但在实际中这两类镜头之间没有显著的区分，因为镜头的边缘帧和镜头的内部帧通常差别很不明显。因此，我们选择模糊c均值算法来检测镜头边界帧，同时区分这两类镜头。在第三部分，我们讨论了镜头代表帧的选择方法。为了方便地从一段视频中检索和提取出其中的镜头，我们提出了一个新方法来选择镜头中的代表帧(通常称为关键帧)。作为一个镜头的代表帧，所选择的帧应该能够尽量包含这段镜头序列的信息。根据我们检测镜头边缘的方法，选择具有更多目标轮廓的视频帧，作为这一段镜头的代表帧。因为在观察实际的视频序列的时候，我们发现，在一个镜头内，某帧包含的目标轮廓越多，其所能代表这段镜头的内容就越丰富，因此，我们用这个标准来选择镜头的代表帧。我们选择了一段地方新闻作为实验视频，其格式为AVI，总长度1510帧。通过这种方法将这段镜头分割之后，与视频中实际存在的镜头边缘相比较，<WP=77>得到检测的查准率为87.5%，查全率为93.75%，实现了项目的要求。对视频结构化分割是实现其合理存储和有效检索必不可少的工作，对于基于更丰富语义的视频结构化方法还