论文部分内容阅读
计算机视觉技术融合了图像处理、模式识别、人工智能及自动控制等多个学科领域的知识，具有很强的理论意义和应用价值。目标跟踪作为计算机视觉的基础课题之一，广泛应用于各种场合，比如自动驾驶、视频监控、无人机和人机交互等。 近些年，目标跟踪技术取得了很大进步。但是目标形变和遮挡、背景杂乱等视觉挑战仍然制约其性能的进一步提高。为了减少它们对跟踪性能的影响，本文采用基于目标部件（超像素）的模型表示目标，并构建图模型挖掘目标部件之间的一致性关系，可成功提升目标形变和遮挡情况下的跟踪性能。另一方面，通过挖掘目标整体和局部部件之间的相互支持和约束关系，可进一步提高背景杂乱场景下的算法鲁棒性。本文的主要研究成果和贡献如下: 1.为了更好地挖掘目标部件的时序一致性关系，本文提出了一种基于连续多帧中目标部件的时序高阶相互信息的跟踪方法。不同于传统工作只考虑相邻两帧的信息，我们建立了描述能力更强的结构感知超图模型来有效提取时序高阶相互信息。基于目标相同位置的部件在运动过程中保持相似的表象和运动特征的假设，可成功在含有噪声的超图模型中搜索密集子图来解决目标跟踪问题。此外，为了更加全面地评测形变目标跟踪算法，我们收集了一个新的Deform-SOT数据集，包含50段全标注的序列，重点反映跟踪场景中剧烈形变和严重遮挡等视觉挑战。结果表明本文提出的时序高阶相互信息在处理这些视觉挑战时更加有效。 2.为了更好地挖掘目标部件的结构一致性关系，本文建立了基于超像素模型的统一几何超图学习框架。之前的方法大多只研究局部部件之间的成对几何关系，本文充分提取多个目标部件关联的结构高阶相互信息，避免其在形变和遮挡下轻易被目标部件之间相似度的错误计算而影响。我们将目标跟踪转化为几何超图的模式搜索问题，其中节点表示候选目标部件关联，超边描述了这些关联的结构高阶关系，模式表示多个具有相似几何结构性质的正确目标部件关联。不同的超图阶数表示不同类型的基于超像素的跟踪算法及其结构一致性关系。另外，我们提出了一种基于置信度的超图采样方法，选择具有代表性的节点和超边来近似几何超图，提升鲁棒性的同时有效降低其复杂度。实验表明本文提出的方法在目标形变和尺度变化下能够有效提升跟踪精度。 3.为了更好地挖掘整体-局部表象建模的一致性关系，本文提出了基于迭代图搜索的目标跟踪方法，捕捉不同维度的目标表象信息及其相互支持和约束关系。我们联合基于图模型的算法中目标部件选择、部件匹配和状态估计三个模块，建立了统一的能量最小化框架。通过目标几何图模型，目标部件选择和匹配可以为整体的目标状态估计提供补充信息;而估计的目标状态可以反过来指导更精确的局部目标部件选择和匹配。我们设计了一种轮换迭代机制来优化多变量的能量函数，并找到最可靠的目标几何图，为目标提供紧致的表达。实验结果表明本方法相比同类方法具有较高的跟踪准确度和成功率。