论文部分内容阅读
随着互联网的快速发展，图像、语音和视频等多媒体资源已经成为人们日常生活的信息载体，伴随而至是以多媒体为研究对象的研究课题越来越受到工业界和学术界的关注，比如:图像标注、图像分类、图像检索等研究课题。由于多媒体对象规模庞大且无结构的特性，使得多媒体对象在互联网中的存储和检索变得非常的困难。众多困难中最著名的是语义鸿沟和意图鸿沟问题，其也一直是最近几十年研究者致力于解决的问题。 本文提出了多种类型的视觉概念相关性度量的方法和采用概念相关性度量方法作为概念关系特征去建立多类别概念关系的模型，并最终使用该模型去预测概念之间的具体语义关系。本文既有概念表达的创新，也有高层语义概念关系模型的创新。发表的文章同时涉及了图像表达、概念表达、概念相关性度量方面的挑战，为建立一个自动化可扩展多类别视觉语义概念关系网络提供了有效的借鉴。对于发现的概念关系可以使用于基于上下文多概念融合方法中从而提高图像标注、分类的性能来到达减少语义鸿沟的目的或者使用于用户手工标注图像、检索图像等过程中从而提供备选的关键词来达到减少意图鸿沟的目的。具体来说，本文的成果和创新之处包括以下几点: 1.本文提出了基于视觉单词分布差异性和标本图像特征距离的概念相关性度量方法，并且证明基于视觉单词的概念相关性度量方法在度量概念相似性时是更加有效的。在概念表达方面，本文主要采用了基于固定数量的视觉单词的概念表达和基于固定数量的代表性图像的概念表达。同时我们发现在视觉单词中加入具有空间关系的视觉短语的概念表达在测量概念相似性时比单独的视觉单词更加有效的。 2.本文对于概念相关性的度量，不仅依赖于概念表达的视觉特征，而且还提取了概念在文本表示和共生频率基础上的概念相似性度量方法。在概念文本表示方面，我们主要通过研究概念的文本表示的词元构造来度量概念间相似性。对于概念的共生频率方面，主要是通过测量不同概念被标注在同一幅图像上的概率来度量概念间的相似性。 3.本文通过从视觉图像、概念文本表示、图像检索日志这三个方面提取概念关系特征，建立概念关系的模型，从而去预测任何两个概念之间的具体关系。通过该模型识别的概念关系，我们可以根据不同的概念关系向用户推荐不同类型的搜索关键词来减少存在的意图鸿沟和在图像表达阶段将图像的底层特征与图像标注的概念关系相结合，构造出带有一定语义信息的图像特征从而减少存在的语义鸿沟。