基于特征元素构造模型的图象语义检索的研究与实现

• 作 者: 徐寅
• 机 构: 清华大学
• 出 处: 清华大学
• 发表日期: 2002年期
• 关键词: 特征元素 图象检索 语义检索 偏向竞争机制 目标候选者 栅格索引 关联反馈

基于内容的图象检索在图库中根据图象内容搜寻、定位和存储图象信息，而语义检索试图从主观性的角度理解内容，挖掘图象和检索指令中包含的高层概念并进行匹配。对海量多媒体信息实现自动化管理和组织的迫切需求，使得图象语义检索成为近几年来的研究热点。
然而，基于特征向量的传统方法遇到了很大的困难，甚至是瓶颈—即如何从低层视觉特征诱导出高层语义概念。本论文提出了特征元素构造模型作为认知学基础，设计并实现了基于新模型的检索系统，并引入关联反馈作为交互手段。论文工作主要包括：
一、提出了特征元素构造模型，用特征元素代替RBC及JIM模型中的体元作为认知基元，通过特征元素与目标的绑定模拟认知机制。特征元素是语义目标独特的或具有一定分辨力的视觉属性，通过判断目标对属性拥有与否来实现识别功能。特征元素通过等级构造方法来生成高层概念。上下文环境主导的偏向竞争机制驱动构造过程，可以将主动视觉和被动视觉很好地结合起来。
二、提出目标候选者的替代概念，利用颜色分割得到各分离的目标候选者，然后各自提取三种特征元素：颜色、位置分布和形状元素。其中形状元素是通过Zernike矩提取的拓扑形状属性，如对称性、周期性、方向性、椭圆拟合、圆满度、镂空度和复杂度。然后通过特征元素评估来筛选出那些突出视觉吸引力的元素作为检索的主要依据。
三、图象库数据组织采用栅格索引系统，其中图象、目标候选者和特征元素是分离的。特征元素的独特性和分辨力通过定义有效匹配范围来体现。提供了两种检索方式，对应低层数据驱动的QBE模式和高层概念驱动的语义指令模式。后者实现了对花和五星红旗的检索。实验结果显示了新检索方法的有效性和宽广的发展前景。
四、关联反馈考察当前指令元素集和用户反馈图象所含有元素的评价状况之间的关联状况，从而重新调整指令集，并可以根据反馈数据中的元素取值命中分布来调整元素匹配范围。关联反馈还能帮助用户实现兴趣跳转。本论文还通过所需要的反馈图象数的定量分析比较了关联反馈和相关反馈。