基于手绘图像语义检索相关技术研究

• 作 者: 于邓
• 出 处: 中国石油大学(华东)
• 发表日期: 2004年期
• 关键词: 手绘检索 多层语义特征 跨域检索 深度融合卷积神经网络 特征融合

在手绘图像检索领域中,手绘图像与自然彩图之间存在着巨大的差异性。与自然彩图相比,手绘图像展现出高度抽象的视觉表达,用现有的方法对手绘图像进行特征提取,其产生的特征描述子对于手绘图像的内容无法进行有效地刻画。针对特征描述力不足的问题,本文首先提出了针对手绘图像的“多层”语义特征的概念,并构建出与多层语义特征相对应的多层深度卷积神经网络来学习手绘图像不同层次的深度特征,最终在检索精度方面,本文所设计的算法比经典手工特征提升了30%~40%。其次,对于相同的物体,不同的人群使用的手绘图像描绘方式也有着巨大的差距,这就使得手绘图像与自然彩图之间的检索匹配变得更加困难。针对手绘图像与自然彩图的之间视觉差异的问题,本文设计了手绘图像与自然彩图在多个层次上映射到同一视觉域的策略,对手绘图像和自然彩图的输入样本同时进行分层操作。本文方法在手绘图像与自然彩图之间实现了鲁棒、精确的跨域检索的实验效果,检索精度超过了现有深度网络所提取的特征7.5%~30%。另外,在手绘图像与自然彩图的多层视觉表达输入本文所设计的深度多层融合卷积神经网络框架后,为了获得它们唯一、稳定的特征表达,本文探究了多种深度特征的融合方法,并设计了特征PCA精简并串联的融合方式。实验证明本文所采用特征串联融合的方式,实现了当前手绘图像和自然彩图之间的最优的跨域检索效果。与已有的方法比较,本文提出的手绘图像的“多层”语义特征,能够捕捉和提取手绘图像中重要的空间结构和语义信息;其次,本文的多层特征融合方式能够精简特征,并提高特征匹配效率和准确率;另外,本文所设计的手绘图像与自然彩图之间多层映射策略,也为手绘图像检索领域提供了一个稳定、高效的检索模型。