论文部分内容阅读
随着计算机技术、多媒体技术的发展和信息需求的不断增长，多媒体信息已经成为各类信息系统的主要数据来源形式。计算机所能处理的信息媒体范围迅速扩大，不仅要求数据库和其它信息系统能对图像、视频和声音等媒体进行存储和基于关键字的检索，而且要对多媒体数据的内容进行语义分析，以达到更深的检索层次，从而基于内容的多媒体信息检索应运而生。基于内容的多媒体检索，包括图像、视频和音频信息的检索；而基于内容的视频检索是其中一个非常重要的研究领域。所谓基于内容的视频检索就是根据视频数据中的场景、镜头、帧和运动对象以及图像数据中的颜色、纹理、形状等特征在大规模视频数据库中找到满足特定的视觉特征描述的图像的过程。目前，基于内容的视频检索的工作主要集中在识别和描述图像的颜色、纹理、形状、空间关系的基础上，对视频数据进行镜头边界检测、关键帧提取以及故事情节的重构。基于内容的视频检索突破了传统的基于表达式检索的局限，它从图像视频内容中提取信息线索，利用这些内容特征建立索引进行检索，是一种近似匹配。在检索的过程中，它采用相似性匹配的方法逐步求精来获得查询的结果，不断减小查询结果的范围，直到定位到目标。本文主要针对基于内容的视频检索系统中关键帧提取技术展开研究。调查了国内外相关领域的研究现状，对现有的基于内容的视频处理、检索方法进行了细致研究与分析。并以MPEG-2压缩视频文件为例，详尽分析了此国际压缩标准中视频序列以及视频数据的层次结构，在MPEG-2压缩视频序列的获取环节作了大量工作。最后针对传统的关键帧提取方法，提出了一种改进的基于分块理论的IDC关键帧提取方法。本文完成了以下内容：视频序列的分析。 <WP=71>图像序列的获取。亮度直方图的获得及分析。传统的视频检索的关键帧提取方法分析、比较和检验。改进的关键帧提取方法的提出及相应的实验数据。图像序列的获取是进行视频序列关键帧分析和处理的数据来源，因此分析MPEG-2压缩视频流中视频序列结构并从中获得视频图像序列为将来的工作奠定了基础。亮度直方图反映的是图像帧亮度分量的统计信息，本文就是从YUV颜色模型中提取出Y亮度分量来完成亮度直方图的获得及定性分析工作。关键帧的检测与提取是本论文的关键所在。最后针对传统的视频检索的关键帧提取方法（绝对距离法、欧氏距离法、X平方检测法、双域值比较法、子块划分法、I帧DC系数法等）进行实验分析及性能比较，提出了一种改进的基于分块理论的IDC关键帧提取方法。此法针对压缩视频文件检测，获得了较好的检测效果。 为了测试改进的关键帧提取算法的检索效率，我们采用了查全率（Recall）和查准率（Precision）和检索时间（Retrieval Time）来衡量其优劣。同时在测试模型中，考虑到取材的广泛性和普遍性，我们选取了动画片、电影片断、广告片、科教片等多种类型的视频片断来测试关键帧的检测结果。实验证明，压缩视频文件经过完全解码，采用像素域中的关键帧检测方法的检测结果在查准率这项指标上较压缩域方法略优一筹；因为此时检测方法占有丰富完整的图像信息。但要对压缩文件进行大规模解码，造成检测时间较长。对于压缩域方法，如I帧DC系数法和改进的基于分块理论的IDC法，虽然在检测时间方面要优于像素域方法，而对压缩视频文件部分解码获得的图像信息毕竟有限，故查准率指标值略差。但从实验结果来看，压缩域方法在查全率方面表现出很好的性能；即单位时间内的查全百分比高于像素域检测方法。 本文提出改进的基于分块理论的IDC法，与传统的划分子块检测方法比在查全率和检索时间两方面有一定的进步。它提高了对镜头中心位置物体运动的敏感程度，比较适合新闻纪录片、电影片等局部运动较为剧烈的视频序列。镜头中的关键帧几乎没有遗漏，但会出现少量的冗余。<WP=72>但查准率这方面性能还有待进一步改进，因为此方法对帧间差值的变化过于敏感，帧间差的阈值设置不当极容易造成误检。总体来说，改进的基于分块理论的IDC法在一定程度上改进了检索效果。