论文部分内容阅读
随着计算机视觉和机器人技术的发展以及科学研究和生产生活的需要，多旋翼无人机在农业植保、抢险救援、运动航拍、空间探测、工业制造等领域的应用越来越广泛。无人机系统为完成位置姿态控制、环境感知、轨迹和任务规划等依赖于鲁棒精确的定位建图，特别是在空中复杂条件下，如何实现无人机的鲁棒精确快速的定位建图日益受到重视。基于多信息融合的无人机定位建图能够有效的提升无人机在多种条件下定位建图的鲁棒性和精度，利用相机、IMU(Inertial Measurement Unit)等传感器能够有效的降低无人机的载重，提升续航能力，为无人机的稳定飞行提供鲁棒实时的定位信息，是无人机开展其他工作的基础和前提。本文针对无人机的定位建图以及视觉标定等问题展开研究，主要的工作和贡献有: 1.针对离焦图像提出了一种基于脊不变性的鲁棒标定方法。对于离焦图像，传统的标定方法由于图像的模糊导致提取的控制点位置不准确，导致标定精度下降，本文利用脊线提取代替传统标定方法中的边缘提取，精确的提取图像的控制点，完成标定。本文给出了离焦图像中脊线的不变性条件，利用基于带状线条的标定模式，可以避免反卷积求解控制点。然后分析了脊线的显著性与图像的离焦量之间的关系。为了提升脊线的显著性，便于精确的提取脊线，利用梯度比率方法估计图像离焦量，对图像进行再模糊，使得图像中的脊获得最大显著性，精确获取标定图像的控制点，实现了采用离焦图像对相机的精确标定。 2.研究了利用结构化先验信息完成无人机定位的方法。在一些恶劣环境条件下，无人机为完成鲁棒的位姿估计，可以利用结构化先验信息完成无人机位姿估计。本文利用级联检测器，通过级联的条件判别器快速排除不满足条件的图像区域，快速检测结构化先验的中心点，然后检测并拟合其它特征点。利用结构化先验的平面特征及图像投影对应构成单应关系，求解相机及无人机位姿。利用检测的图像特征点控制无人机机载云台对结构化先验进行跟踪。 3.提出了一种结合点线特征及结构信息的视觉惯性里程计方法。在城市环境或者室内环境中，存在丰富的线段信息，利用这些线段特征可以作为点特征的补充，提升定位的精度和鲁棒性。本文首先分析了利用Plücker坐标以及Plücker矩阵进行位姿估计以及光束平差优化的方法，然后结合点线特征及结构信息在滑动窗口中进行局部光束平差优化。利用线段检测器检测图像中的线特征，同时提取图像中的点特征，根据点特征的差异度判别特征是否适合被跟踪，选择合适的特征用于跟踪。利用J-linkage对提取的线段进行分类，计算图像的消失点，利用消失点对应主方向作为结构信息添加至优化过程。为了降低计算资源消耗，使用基于滑动窗口的稀疏性光束平差法对里程计的估计进行优化，以提升无人机在线结构丰富的环境下的定位精度。 4.提出了一种结合语义信息的视觉里程计方法。利用图像中的平面信息，结合平面中点特征的单应约束，有助于提升定位的精度。本文首先利用全卷积网络实现图像中平面分割，然后利用稀疏特征完成相机的位姿跟踪，对稀疏特征使用三角化实现点的三维重建。利用三角化重建的三维点以及图像分割结果拟合局部地图中的分段平面。拟合的分段平面结构构成额外的单应约束，在优化中利用图优化方法完成非线性最小二乘，从而提升了视觉定位的精度，便于无人机完成自动化任务。 5.提出了一种融合全卷积网络深度图预测及几何深度值估计的方法。视觉几何法估计的深度和深度网络预测的深度各有优缺点，可以融合得到更加精确稠密的深度图。利用校准的双目图像训练深度图预测网络，通过最小化每个像素重投影的光度残差，构成无监督的全卷积网络深度预测，利用双目数据的左右图像重建避免深度预测网络对于深度真值的依赖。然后将深度预测结果和多视角计算的深度进行融合，获取更加精确稠密的深度图，利用TSDF(Truncated Signed Distance Fields)及光线透射法完成稠密地图重建，为无人机的导航提供地图支持。另外为了降低无人机定位系统在长时间运行中产生的漂移，利用离线建立的地图，基于词袋模型构建视觉定位系统，相对于地图的定位方式不具有累计漂移的特点。在离线建图中，通过闭环检测及位姿图优化，得到闭环修正的轨迹及地图点，利用全局BA(Bundle Adjustment)对轨迹和地图点进行优化。在重定位中，通过加载地图，利用BOW搜索，完成重定位。