论文部分内容阅读
随着机器人与环境交互需求的日益增加，逐渐趋向于使用视觉SLAM(Simultaneous Localization and Mapping)对环境进行探索。但大多数视觉SLAM算法存在点云稀疏、语义信息缺失、所建地图实用性低等问题。为解决以上问题，本文提出基于视觉SLAM和目标检测的语义地图构建系统，主要研究内容包括:
(1)在语义地图构建方面，本文将目标检测算法YOLOv4和视觉SLAM技术紧密结合，构建环境的稠密点云语义地图。根据提出的语义SLAM系统框架，利用YOLOv4来获取物体的2D标签，同时经过ORB-SLAM2算法构建环境的稀疏点云，通过含有2D标签的彩色图、深度图以及关键帧来生成稠密点云标签。使用基于图的分割算法对稠密点云进行分割，再将点云标签与分割后的点云进行融合，进而构建稠密点云语义地图。
(2)在获取物体语义标签时，从检测精度、所耗时间、识别种类三方面分析已训练的YOLOv3和未训练的YOLOv4两种算法，在实际环境下进行测试，验证选择YOLOv4的必要性。
(3)为了提高点云地图的可视化程度，在3D纹理映射时，选择若干个多视角的RGB图像对几何模型进行纹理化处理，以减小相邻的纹理小块之间的接缝大小，保证纹理的一致性。
(4)为了减小点云地图的存储空间，方便移动机器人进行避障和导航，使用语义Octomap作为语义点云地图的另一种表征方式。
使用本文方法在TUM公开数据集和室内实际场景中进行实验，与传统的ORB-SLAM2相比，此系统在构建地图的过程中，相机的绝对位姿误差和绝对轨迹误差均有所减少，建图精度有所提高，实验结果表明可构建出实用且可视化程度高的语义地图。
(1)在语义地图构建方面，本文将目标检测算法YOLOv4和视觉SLAM技术紧密结合，构建环境的稠密点云语义地图。根据提出的语义SLAM系统框架，利用YOLOv4来获取物体的2D标签，同时经过ORB-SLAM2算法构建环境的稀疏点云，通过含有2D标签的彩色图、深度图以及关键帧来生成稠密点云标签。使用基于图的分割算法对稠密点云进行分割，再将点云标签与分割后的点云进行融合，进而构建稠密点云语义地图。
(2)在获取物体语义标签时，从检测精度、所耗时间、识别种类三方面分析已训练的YOLOv3和未训练的YOLOv4两种算法，在实际环境下进行测试，验证选择YOLOv4的必要性。
(3)为了提高点云地图的可视化程度，在3D纹理映射时，选择若干个多视角的RGB图像对几何模型进行纹理化处理，以减小相邻的纹理小块之间的接缝大小，保证纹理的一致性。
(4)为了减小点云地图的存储空间，方便移动机器人进行避障和导航，使用语义Octomap作为语义点云地图的另一种表征方式。
使用本文方法在TUM公开数据集和室内实际场景中进行实验，与传统的ORB-SLAM2相比，此系统在构建地图的过程中，相机的绝对位姿误差和绝对轨迹误差均有所减少，建图精度有所提高，实验结果表明可构建出实用且可视化程度高的语义地图。