论文部分内容阅读
在计算机视觉应用领域中,使用单张图像作为算法处理对象无法进一步提升性能时,研究者通过引入其他相关图像,分析与利用图像间的协同关联性,以达到提升算法性能的目的。本文以超像素作为算法基本处理单元对图像组的协同关联性进行研究。围绕这一课题,本文的主要内容包括:1)提出超像素特征模型Bag Of Square(BoS),给出了一套完整统一的超像素描述以及相似性度量的方法。为了处理同一物体不同场景下其超像素分离与合并的多样性,BoS模型在超像素金子塔上进行构建,由一组超像素自身所包含的子区域以及金子塔其他层的子区域组成。对于每一个子区域,我们通过距离变换提取一定数量的最大正方形,并且使用自验证聚类算法提取数量更少的显著正方形区域,这些显著性正方形保证了BoS模型的旋转不变和尺度不变特性。相比较现有的区域描述符,该方法可以更好地匹配超像素的特性、精确地捕获超像素的细节信息,以及合理地处理超像素分离与合并的多样性。2)提出基于联合低秩分析和在线字典学习的图像组协同显著性检测算法。该算法将单张图像分解为具有稀疏特性的前景区域和低秩特性背景区域,多张图像间具有相似特征的显著性区域通过对字典的稀疏重建获得,该字典通过图像组内单张图像中显著性区域学习而来,同时进行和完成单张图像以及多张图像的显著性检测。由于公有显著性物体特征字典的引入,该算法相对于现有显著性物体检测算法而言,对于图像组内具有复杂背景的图像可以更好的完成显著性检测。3)提出尺度无关的非监督的快速多模态图像组协同分割方法。通过引入超像素级不规则图结构以及多模态特征联合聚类,使得算法具有尺度无关特性,运行时间独立于图像分辨率。多模态特征虽然在计算机视觉领域、图像处理、模式识别得到了广泛应用,但是在图像协同分割中的应用仍处于起步阶段,缺少统一的多特征融合与度量方法,其应用潜力并未得到体现。本文给出了一套完整统一的多特征融合与度量方法,使得多模态这一技术在图像协同分割领域得到应用。4)提出具象可视问题自动构建模型。该模型基于文本标注模型产生的文本标注以及给定的图像,自动选择更为适合的问题类型构建问题。在公共数据集上的实验表明,该模型可以构建合理、多样且符合语法规则的具象问题。