论文部分内容阅读
环境感知是移动机器人具备人工智能的重要且首要条件。场景三维信息获取、目标检测与跟踪等是环境感知的重要组成部分，在军事、安保、助老助残等方面具有广泛的应用前景。本文针对移动机器人目标检测与跟踪开展研究，论文的主要内容如下: 首先，介绍了移动机器人及环境感知的研究背景和研究意义，阐述了立体视觉和激光雷达的研究现状，对目标检测和目标跟踪进行了综述，并对论文内容和结构做了介绍。 其次，开展了场景三维信息的获取研究。面向双目视觉，完成了内外参数的标定以及立体匹配，获得了场景的深度图;面向单目与多线激光雷达，实现了单目与多线激光雷达的联合标定，由此将激光点云投影到图像坐标系，从而提供了图像目标区域的三维信息。 第三，研究并改进了基于深度学习的目标检测方法。在提升实时性方面，通过裁剪SSD目标检测模型，训练得到可满足嵌入式GPU平台实时性要求的目标检测模型。在提高准确性方面，结合场景三维信息，对基于深度学习的目标检测提供的候选定位框作进一步筛选与精定位以实现目标跟踪的初始化。 第四，结合KCF跟踪器，开展了目标跟踪方法的研究。基于单目视觉的目标跟踪方面，面向目标跟踪中存在的模型漂移、目标部分遮挡等问题，设计级联定位器以实现裁剪后SSD检测模型与KCF跟踪器的有机结合。基于双目视觉的目标跟踪方面，利用场景三维信息提取目标的深度分布，并设计了融合HOG、CN、LDP的多特征KCF跟踪器，用于应对目标全遮挡、模型漂移等问题。 第五，搭建了移动机器人目标检测与跟踪实验系统，描述了移动机器人硬件平台及其软件框架。对于装有双目视觉传感器的移动机器人，采用基于场景三维信息的多特征KCF目标跟踪方法;当机器人通过单目视觉和多线激光雷达感知环境时，它采用综合HOG、CN的KCF目标跟踪方法，并通过多线激光雷达获得目标的三维信息。室内/室外环境下移动机器人跟随行人的实验验证了上述方法的有效性。 最后，对本文工作进行了总结，并指出了需要进一步开展的研究工作。