论文部分内容阅读
图像分割是图像处理与分析的关键环节，也是计算机视觉领域中一个经典的研究分支。图像分割按照在分割过程中有无人工参与可分为半自动分割和自动分割，自动分割按照分割过程中有无训练阶段可分为无监督的分割和有监督的分割。图像无监督的自动分割通常作为图像分析和模式识别任务的预处理步骤，其目的是依据图像的亮度、颜色、纹理和边缘等低层特征将图像像素聚合成具有特征一致性的不重合区域，这些区域不具有目标的含义。旨在从图像中分割出具有特定意义区域的分割方法称为目标分割，如交互式分割、前景目标自动提取和语义分割等。交互式分割是一类半自动分割方法，通常由用户在图像上标记出部分前景和背景区域，算法根据这些标记的种子区域将图像的前景目标从背景中提取出来。前景目标自动提取算法通过训练过程学习前景目标和背景的模型或者直接由输入图像估计出前景目标和背景的模型，根据获得的先验模型将目标从背景中分割出来。图像前景目标的自动提取可视为两目标类的语义分割。更广泛意义上的图像语义分割是指有监督的多目标类的自动分割，它根据训练过程中学习的目标类模型将图像分割成具有目标意义的多个区域，每个区域对应某目标类的一个实例。本文主要研究以输出目标区域为目的的交互式图像分割、图像前景目标自动提取和图像语义分割，主要工作和成果如下: (1)提出了一种基于超像素合并的交互式图像分割方法。利用无监督方法将图像过分割成超像素，使用归一化的直方图作为超像素的特征向量。用户在输入图像上标记出部分前景和背景超像素作为种子区域。基于未标记超像素应该与它的最近邻合并这一假设，本文设计了一种两步的合并策略，第一步根据未标记超像素和种子区域的相似度，将未标记超像素合并到与它最近的种子区域，第二步根据未标记超像素之间的相似度，实现未标记超像素之间的合并。整个合并过程迭代执行，直到所有未标记超像素都合并到种子区域。本文做了一系列实验，将提出的方法与其他方法作了比较。实验结果表明，本文提出的交互式图像分割方法能用更少的用户标记信息更快更准确地把前景目标从背景中提取出来。 (2)提出了一种基于区域特征对比的图像显著性检测方法，并利用图像显著图来实现前景目标的自动提取。图像前景目标的自动提取是一项具有挑战性的任务，由于缺少图像的先验信息，其分割结果通常不够理想。图像的显著图反映了前景目标与背景的差异，能够为图像前景目标的自动提取提供有用的信息。本文提出的图像显著性检测方法首先检测图像中的关键点，根据关键点的分布粗略地估计出图像的前景和背景区域。然后分别计算超像素与估计的前景区域及背景区域的相似度，将相似度进行尺度变换后再取它们的比值作为超像素的显著值。本文设计的基于图像显著图实现的前景目标自动提取方法分为两个过程，分别是种子区域选择过程和超像素合并过程。本文做了一系列实验，验证了所提图像显著性检测方法和前景目标自动提取方法的有效性。实验结果表明，本文提出的图像显著性检测方法与其他方法相比能更均匀地反映图像的前景目标，提出的图像前景目标自动提取方法整体上能获得满意的分割结果。 (3)提出了一种多幅相似图像的协显著性检测方法，并利用图像的协显著图实现了图像的协分割。相似图像指的是描绘相同或相似前景目标的多幅图像，其中任何一幅图像的显著性不仅与图像中的区域在本幅图像中的显著性有关，还与该图像中的区域相对于其他图像的显著性有关。本文提出的协显著性检测方法首先检测出每幅图像的前景目标区域和背景区域，估计出每幅图像的前景目标特征和背景特征，融合所有图像的前景特征估计出图像组公共的前景目标特征。然后计算每幅图像中的各个超像素与图像组公共前景目标的相似度以及各个超像素与其所在图像背景的相似度，将每个超像素对应的两个相似度取比值后再进行尺度变换作为它的显著值，从而获得该幅图像的单显著图。计算每幅图像中位于前景区域的各个超像素与其他图像前景区域相似度的平均值作为它们的可重复检测度，使用尺度变换后的可重复检测度加权该幅图像的单显著图来实现图像协显著性检测。本文提出的协分割方法使用基于图割的能量优化框架将图像协显著图与图像低层特征联系起来，通过求解优化问题获得分割结果。本文做了一系列实验，将本文提出的协显著性检测和协分割方法与其他方法作了比较，验证了所提方法的有效性。实验结果表明，本文提出的方法能获得满意的协显著性检测和协分割效果。 (4)提出了一种同时使用低层图像特征和高层上下文信息的语义分割方法。图像低层特征包括全局特征和局部特征，高层上下文信息包括目标类共存关系和空间布局关系。本文根据图像描绘的主要目标类将图像分成不同的场景组，使用图像中主要目标类的标签作为图像所属场景组的标签。本文提出的语义分割方法使用基于图割的能量优化框架，通过定义优化框架中的能量项把低层特征融合到目标函数中，通过给能量项引入加权函数把上下文信息融合到目标函数中。本文做了一系列实验，将所提的语义分割方法与其他方法作了比较，验证了所提方法的有效性。实验结果表明，本文提出的语义分割方法在不引入高阶能量项的前提下把各类特征和信息融合到能量函数中并获得理想的分割结果。