论文部分内容阅读
本研究提出一种适用于多镜头组合式全景相机的特征点SLAM系统。大视场角鱼眼镜头与小视场角鱼眼镜头在SLAM系统中已被得到广泛的应用,理论和实践都已证明,大视场角鱼眼镜头适用于室内、小范围SLAM的场景,而小视场角鱼眼相机适用于大范围室外场景,尤其是具有峡谷效应的城市街道的SLAM应用场景。然而,小视场角的鱼眼相机由于其视场角限制,导致其在宽基线图像序列中易出现两帧图像之间重叠度较少,特征点难以提取与匹配等情况,从而导致SLAM的视觉里程计在具有较大旋转或平移处出现位姿跟踪失败。多镜头组合式全景相机利用多个小视场角鱼眼镜头的组合进行360度全景影像的获取,既弥补小视场角鱼眼镜头的缺陷,又由多镜头的组合拓宽了视场角。为利用多镜头组合式全景相机的优势,并探索SLAM系统在地面移动测图系统(Mobile Mapping System,MMS)的应用,本文基于多镜头组合式全景相机,结合当前主流的特征点SLAM方法,发展了适用于多鱼眼图像序列以及全景图像序列的全景SLAM系统。本文首先介绍了多镜头组合式全景相机的几何构造,成像模型和检校模型,提出一种改进的鱼眼镜头检校模型,并介绍了当前特征点SLAM系统的基本原理与概况。然后将两者结合,探索对当前特征点SLAM系统各模块的改进与拓展(如,初始化,位姿跟踪,关键帧选取,闭环探测等模块算法),最终使其能够适用于宽基线模式拍摄的多鱼眼镜头影像与全景影像。最终实现完整全自动的全景SLAM系统。具体内容如下:(1)SLAM系统数学原理与方法。这一部分主要介绍经典SLAM系统的工作原理与方法,介绍SLAM系统的组成与各模块核心算法与理论。用数学方法对SLAM问题进行了描述,分析SLAM系统的性能与受制约条件,以及当前SLAM系统的适用场景与范围。(2)多镜头组合式全景相机的成像与定位模型。使用全景影像进行定位,量测等工作,需要明晰全景相机中严格的几何关系。本文首先介绍了多镜头组合式全景相机的各鱼眼镜头的成像模型与畸变模型,提出一种基于通用鱼眼镜头检校模型的改进内参数检校模型。介绍了利用三维检校场进行外参检校的方法以及各鱼眼相机的成像与全景球模型,全景影像的严格几何关系。本文利用模拟数据,对全景相机的各鱼眼镜头的内外参数进行测试,并利用EPnP算法对检校后得单鱼眼镜头进行定位实验,利用全景球EPnP算法,结合检校得出的鱼眼镜头内外参进行全景相机定位实验,实验均与通用鱼眼相机检校模型进行对比。结果表明,本文提出的检校模型相比通用模型更适用于多镜头式组合相机的镜头,具有更高的检校精度,从而使得在同样使用EPnP算法的情况下,能获取更高的定位精度。同时,也表明了根据经典EPnP算法所延伸的全景球EPnP算法的正确性。(3)基于全景图像的SLAM系统。从大范围室外宽基线图像序列采集模式出发,分析当前SLAM系统的缺陷与弊端,将全景影像360度成像的优势引入SLAM系统,并结合当前特征点法SLAM系统的框架与成熟的算法,对特征点SLAM系统各模块,如系统初始化,位姿跟踪,局部地图构建,位姿优化,关键帧选取,闭环探测等算法进行改进。发展出一套全自动适用于多鱼眼图像序列以及全景图像序列的SLAM系统,并使其能在大范围室外城市街道场景以及易出现GPS信号异常的场景(如,隧道,天桥等)完成定位工作,从而为地面移动测图系统(MMS)做良好的信息补充。本文同时在多镜头鱼眼相机公开数据集与自采集的全景相机数据集上进行测试分析,实验结果表明,本文提出的全景SLAM解决方案能够在多镜头鱼眼图像以及全景图像上顺利完成位姿跟踪,局部地图构建以及闭环探测等工作,且适用于大范围室外宽基线图像序列场景模式,在室内外数据集定位精度与稳定性均高于其余代表性的同类型SLAM系统。