论文部分内容阅读
近年来，随着多媒体技术以及网络技术的快速发展，多媒体数据急剧增加。由于视频的低层特征与人类思维中的语义概念之间存在语义鸿沟，基于语义概念的视频检索已经成为视频内容检索研究中的新焦点。视频中的语义概念主要包括三类：事件、场景/地点和对象。其中，视频事件可以定义为不同的视频对象在一段时间内的相互作用，它蕴含了视频的主要语义内容。因而，研究快速有效的视频复杂事件分析方法至关重要。
本文首先简要地介绍了课题研究的背景及意义，然后分析了视频事件分析中涉及到的主要工作的国内外研究现状。在此基础上，本文提出了基于人工免疫有序聚类的关键帧提取方法、基于超图模型的视频复杂事件分析方法以及基于扩展格语法的视频事件描述方法，具体内容如下：
(1)提出了基于人工免疫有序聚类的关键帧提取方法。通过在传统人工免疫聚类算法的基础上引入抗原记忆识别机制及改进抗体的克隆与超变异机制，提出了一种新的基于人工免疫有序聚类的关键帧提取算法。该算法将镜头中的图像帧序列看成一个入侵机体的抗原序列并产生一个初始的抗体集，然后依次为每个抗原产生记忆细胞池，最终得到的记忆细胞池的个数即为聚类结果的类别数，并且每个记忆细胞池能识别的连续抗原序列就是一个类别。在得到聚类结果后，选取与聚类中心最近的一帧作为每个类别的关键帧。
(2)提出了基于超图模型的视频复杂事件检测方法。该方法首先检测出视频中的运动对象并对其进行分类和跟踪，从而提取出对象的运动轨迹。然后，通过分析对象的运动轨迹检测出视频中的所有子事件并构建子事件时序关系图。基于子事件时序关系图，对于训练视频，通过自动构建训练视频中各类子事件间的依赖关系图来建立复杂事件的模型，而对于测试视频，依次利用每一个子事件依赖关系图来构建子事件超图并通过谱超图聚类分析来检测相应的复杂事件。
(3)提出了基于扩展格语法的视频事件描述方法。格语法最初用于自然语言理解与句法分析，因而采用格语法来描述视频事件比较符合人对视频事件的语义理解。该方法在传统的格语法体系基础上加入时序格描述事件之间的时序关系，同时考虑到多事件之间的不同关联程度，进一步引入关联格描述多事件之间的关联关系。