论文部分内容阅读
地理信息科学的发展通常与测绘技术、计算机信息技术的发展高度相关，一方面测绘技术为地理空间科学研究提供数据来源，另一方面地理空间应用也向测绘技术、计算机技术提出了新的挑战。随着全球移动互联网的蓬勃发展、传感器技术更新迭代，地理信息科学迈入了新的发展阶段:从服务政府到服务普通大众;从宏观到微观;从室外到室内外一体化。从室内地理空间数据需求来看，不断兴起的大众化地理空间应用对测绘信息技术提出了扫描速度、设备成本、便携性、计算密集等挑战。传统激光扫描技术、倾斜摄影测量技术已不能适应于室内地理空间应用的要求。RGB-D相机是一种消费级新型视觉传感器，由RGB镜头与深度镜头构成，拍摄时能获得场景的纹理图像与深度图像（即点云）。研究领域普遍认为使用RGB-D相机进行室内三维重建主要存在以下四大问题:(a)低功率的RGB-D相机普遍存在获取深度信息分辨率低、噪声大的缺陷，如Xtion Pro Live深度相机实际分辨率仅为320*240像素，远低于普通相机或工业相机分辨率;(b)需要多次获取室内场景数据，重建一个典型房间需要进行多达数千甚至上万帧的不同视角的数据获取。为了获得三维模型就需要将所有这些数据帧进行精确配准（即姿态求解），而针对大量粗糙深度数据（即点云）的配准，是一个被广泛关注且尚未被解决的研究难题。(c)与传统摄影测量相比，室内场景无GNSS辅助信号。仅仅依靠低分辨率图像数据生成的视觉特征点的光束法平差算法易收敛至局部最优。(d)由于处理数据量极大，实时处理原始图像数据且达到较好三维模型效果是一个较难的研究问题，但对于算法推广应用具有重要意义。针对以上问题，本文从各个角度进行了深入研究，主要研究内容及成果如下: (1)深入定量讨论了深度观测的不确定性分布(针对问题(a))，发现传统算法中姿态估计的旋转与平移均受此噪声影响的关键问题，提出了RGB-D相机姿态的旋转与平移去耦合估计算法(针对问题(b))。首先，利用纹理图像信息对旋转矩阵进行估计，实现旋转矩阵与深度噪声分离。接着，深入研究深度观测噪声分布特点，发展了基于多尺度窗口的高斯混合不确定性描述模型。充分利用旋转与平移分量分别属于非线性与线性优化的特性，提高了优化算法的收敛稳定性与精度。实验结果表明，解耦合姿态估计算法比传统算法的姿态估计RMSE精度提高24.2％。 (2)针对传统点特征的三维重建算法易陷入局部最优解的难题，本文首次提出了基于点、平面特征(针对问题(c))的子图融合算法。协同利用点特征与平面特征的优势，研究基于特征点、图像块、平面等三方面信息的子图构建算法，设计了顺序合并局部子图到全局地图的方法流程(针对问题(d))。观察发现传统海森正则式平面参数化方法有过参数化问题，本文基于流形空间，发展了一种新的平面参数化方法，解决了过参数化、局部最小值问题。拟合实验表明本文方法比传统方法迭代效率提高了73％。在子图融合算法中，利用局部子图中平面参数的协方差矩阵可计算的性质，作者创造性的解决了平面数据关联问题（即平面暂无特征描述子问题）。定性与定量实验结果均表明该方法优于传统光束法平差算法。 (3)为了进一步提高优化算法恢复室内三维场景的能力，在前述平面特征的基础上，本研究利用深度神经网络检测技术将可利用信息扩展至物体级特征(针对问题(c))，提出了以ORB-SLAM2为点跟踪模块，建立了包含点特征、物体外包矩形信息、平面信息的联合观测约束框架，拓展了传统光束法平差模型仅最小化重投影误差的情形，实现了具有挑战性的室内场景三维重建目标。实验中对比了高精度激光扫描仪生成的三维模型与本文重建模型精度，结果显示应用本算法，消费级相机也能提供精度较高(平均误差＜4cm)的室内三维模型。 (4)室内三维重建不仅提供了场景的表面模型，而且提供了相机的姿态信息，为了解决仅应用三维模型难以达到具有真实感、沉浸感的室内实景展示效果，本文研究构建了一个多RGB-D相机协作的数据采集平台，实现一套实景漫游原型系统。首先讨论了多RGB-D相机协同数据采集的优势、硬件配置方法以及ARM开发板控制采集的配置方案。为了更高效、更鲁邦地进行数据采集与处理，在分析了各模块计算复杂度的基础上，提出了ARM开发板与普通PC配合的数据处理框架。对于各采集点之间图像差异性较大的问题，设计实现了基于子图的宽基线匹配的解决方案。在各模块实现的基础上，最终研发了Web端的室内实景漫游系统，该系统充分利用了三维模型信息、相机姿态信息（定位信息）、全景纹理图像信息，为用户提供高沉浸感、真实感的室内漫游体验。