复杂体育运动场景中目标跟踪方法研究

• 作 者: 伍万能
• 机 构: 湖南大学
• 出 处: 湖南大学
• 发表日期: 2020年01期
• 关键词: 体育视频分析 视觉目标检测 视觉目标跟踪 单目标跟踪 多目标跟踪 多相机多目标跟踪 姿态估计 图卷积神经网络

目标跟踪是视觉技术研究领域的热点问题,被广泛应用于智能监控、自动驾驶、机器人视觉感知等场景。近年来,随着体育产业的快速发展,以篮球、足球为代表的复杂体育运动场景中目标（球与球员）的跟踪,逐渐受到关注。与研究最为广泛的行人监控场景相比,体育运动场景中的目标跟踪问题挑战更大,如更严重的遮挡与外观相似干扰、更剧烈的姿态变化、以及更复杂的运动形式等。对此,本文以篮球、足球等复杂体育运动场景中球（单目标）与球员（多目标）的跟踪为研究对象,从分析常见跟踪方法不适用于这类场景的原因出发,结合视觉目标检测与跟踪最新技术开展研究,提出多种适用于复杂体育运动场景中的球与球员跟踪方法,为体育视频分析领域中动作识别、事件检测、内容理解等更高语义层面的研究奠定基础。本文主要工作与创新点如下:（1）针对体育运动场景中球的尺寸小、遮挡频繁、以及大量背景与光照干扰等因素造成的球的漏检、误检以及跟踪漂移问题,提出一种基于小目标检测与多视角融合的球三维跟踪方法。该方法主要包括球的二维检测、二维跟踪、三维坐标融合与三维轨迹平滑等四个阶段。二维检测阶段,采用一种基于多尺度特征的小目标检测网络,解决了小尺寸球难检测的问题,提高了球的检测精度;二维跟踪阶段,引入多视角信息以及跟踪模型更新策略,有效缓解了误检、漏检与遮挡造成的跟踪漂移问题,提高了球的跟踪鲁棒性;在此基础上,采用三角算法将球的二维坐标融合为三维坐标;最后针对球的非线性运动提出一种简化运动模型,并采用卡尔曼滤波获得准确而平滑的三维跟踪轨迹。所提方法在篮球公共数据集上的二维和三维跟踪精度分别达到0.81与0.92。（2）为解决球员相互靠近时易发生跟踪身份交换的问题,提出一种基于改进最短路径法与球员相似度度量的球员三维跟踪方法。采用批处理的跟踪方式,以融合多个相机视角下球员位置信息的概率占用图为输入构建时空网络流图,并将球员跟踪问题转换为求取流图中所有最短路径的问题。通过引入球员身份信息（球衣颜色与球衣号码）计算球员之间的相似度,调整网络流图中的边权重,有效解决了球员靠近时易造成的跟踪身份交换问题,提高了球员跟踪性能。实验结果表明,给定约70%的球衣颜色与约50%的球衣号码信息时,球员三维跟踪效果与不考虑身份信息的原有方法相比有显著提升。（3）针对体育运动场景中球员姿态变化大与球员外观相似度高等因素对球员跟踪效果的影响,提出一种基于姿态对齐特征与图卷积神经网络的球员二维跟踪方法。较大幅度的姿态变化意味着球员个体特征包含的背景噪声较多,采用一种姿态对齐的特征提取方式可有效提取更精确的球员个体特征;针对球员跟踪过程中较严重的外观相似干扰,通过构建球员的上下文关系图,并利用图卷积神经网络整合邻接球员信息,可学习到表达能力更强的球员上下文特征。实验结果表明,给定相同球员检测的情况下,所提方法对于球员二维跟踪效果的提升效果优于多个相关方法。（4）在上述球员二维跟踪的基础上,进一步提出基于跨视角关联匹配的球员三维跟踪与三维姿态估计方法。其中,为克服单帧匹配时遮挡、相机标定误差等的影响,提出基于多帧姿态信息的跨视角几何相似度度量方法,匹配效果优于基于单帧的跨视角几何相似度;为解决球员外观相似干扰的问题,进一步提出基于图模型的跨视角外观相似度度量学习方法,以各视角中的球员为节点,球员外观深度特征为节点属性,跨视角球员间的连接为边构建跨视角球员图模型,经过图卷积神经网络训练所得相似度优于基于简单余弦距离计算的外观相似度。实验结果表明,同时考虑所提出的上述两种跨视角球员相似度,可显著提升球员三维跟踪与三维姿态估计精度。