论文部分内容阅读
计算机视觉中的高精度三维深度信息可以用于恢复三维立体场景，感知三维世界，是近期计算机视觉技术发展的热门话题，可以应用于工农业、军事等行业，开展虚拟现实、人机交互、自动驾驶和无人机避障等应用，具有很大的研究意义和商业使用价值。基于双目立体视觉的三维深度信息获取，主要利用布置在不同空间位置的两台相机对同一物理场景进行拍摄，再通过对应算法计算出每个物理点的视差，进而计算出物体3D深度信息，用于后续处理。该技术由于其价格低廉、适用性广等优点已经成为快速获取空间三维信息的重要方法。然而，要获得高质量的三维深度信息并开展应用，还有诸多难题，其中包括高效快速标定相机并校正图像对、快速且精确的立体匹配算法以及深度信息的优化处理等，这些都是立体视觉研究的重点和难点，本文针对以上的问题进行了研究。 此外，基于双目视觉获取的深度信息可应用于自动驾驶中，而自动驾驶是一个新兴的技术，该技术是一种能够智能化指导车辆在实际道路环境实现实时且自主运动的多学科交叉技术。发展自动驾驶技术，甚至无人驾驶技术，有助于改进车辆安全，降低道路交通事故，提高交通效率，因而该技术在科学研究、工农业应用等领域都具有很好的发展空间，是人工智能、计算机视觉等多项技术发展的最新成果，也是世界各国研究者共同关注的研究点。在自动驾驶中，自主感知道路三维空间环境，为车辆的安全行驶和决策提供帮助必要的三维环境信息和障碍物信息，从而实现车辆自主导航是一个重要的研究方向。其中的三维环境信息感知技术主要包括主动测量和被动的测量两大类。双目立体视觉技术是一种通过双摄像机拍摄环境的二维图片信息，然后计算获得环境的三维空间信息的技术，该技术不主动发射探测信息，属于一种被动的测量技术，且该技术测量快速、测量准确度较高且价格低廉，因而被广泛的用于三维环境测量和自主导航等应用中。本文将采用该技术实现自动驾驶中的三维环境信息感知、障碍物检测、道路检测与车道保持等应用，为自动驾驶提供必要的辅助信息，进而实现车辆自主导航。 本文将分别对双目立体视觉的研究和基于双目立体视觉的自动驾驶技术进行深入的研究和讨论，包括如何提高立体匹配的精度和效率及深度信息的优化，以及应用双目视觉的三维信息获得三维环境地图和障碍物信息，实现车道检测与路径保持等应用。本文提出了一些新的理论算法，并采用了实验进行验证检测，主要的研究内容和创新点如下: 分析总结了双目立体视觉技术和自动驾驶的研究情况，针对双目立体视觉技术展开分析了其基本原理、成像过程、立体匹配算法的算法和评价体系、视差与深度转换算法等，并介绍了摄像机的内外参数标定和图像校正的方法;针对自动驾驶的三维环境感知情况，分析了基于双目立体视觉技术实现的可行性。 提出一种基于指导图像引导的多步骤快速聚合的匹配代价聚合算法，该算法首先计算指导图像，该指导图像采用具有边缘保持与同质区域平滑功能的滤波器计算获得，然后采用快速匹配代价聚合算法将匹配代价聚合分成了水平和垂直两个方向分开计算，采用多项式步骤进行分步骤迭代，同时采用自适应权重进行聚合计算，这样既能保证聚合的有效范围比较大，将有效的点充分进行聚合，也可以根据不同的纹理自适应的计算权重。此外还采用多方向的半全局(SGM)优化算法进一步优化匹配代价，提升算法的全局优化性能。实验结果表明，算法聚合的计算速度较快，同时具有较好的鲁棒性。 提出了一种基于指导图引导的高精度立体匹配算法体系，该方法针对局部立体匹配算法的计算精度不高和计算量过大的两个经典问题提出了解决方案。算法提出了基于指导图像引导的立体匹配算法的框架:(1)设计了指导图像这个算法体系，该算法体系采用具有边缘保持效果和同质区域平滑性能的滤波器，对初始图像处理获得边缘强化的图像，进而采用该强化图像指导多模匹配代价计算、匹配代价聚合以及多步骤的视差后处理等算法。该方法替代了传统算法采用滤波器对匹配代价进行直接滤波的处理，降低了计算复杂度，同时结合算法体系中的其他措施，从而使计算精度有所提高;(2)提出了一种采用多特征融合的匹配代价计算方法，该方法融合了指导图像、输入图像的信息，以及多通道梯度信息、颜色信息以及轻量级的censu编码信息，算法的计算复杂度较低，由于具备了多特征的匹配代价信息，所以计算的视差图精度较高。由实验可知该算法可以较好的应对重复纹理特征、弱纹理区块等难以匹配的问题，具有良好的鲁棒性;(3)提出了一种采用多步骤优化计算视差的方法，包括左右一致性检测[1]、误差点分类、左侧区域平面模拟填充、内部点分步十字法填充、基于多项式步骤的聚合函数滤波等步骤。该算法可以很好的根据不同类型的误差点采取不同的算法进行填充，最后采用的多步骤聚合函数滤波可以保证得到的视差图具有良好的平滑性。实验表明本文提出的多步骤优化算法可以很好的优化修复视差图。 提出了一种针对深度图的深度信息优化的算法，对于单帧图像，主要采用帧内的信息进行优化，包括统计直方图分析深度信息空间、十字自适应区域优化填充、统计分布优化填充等方法;对于多帧图像，主要采用帧间信息进行优化。本文算法可以对基于英特尔Realsense[2]、微软的kinect[3]等深度传感器采集的RGB-D数据以及Point Grey双目相机[4]采集图像计算后获得的深度数据进行优化，包括消除散布的噪声点、填补闭塞区域的空洞、修复边缘等，实验结果表明，算法对实际采集的深度图像修复具有良好的鲁棒性。 提出了一种可以辅助车辆进行避障导航驾驶的算法，首先根据深度信息、颜色灰度信息、V-视差算法[5]先对驾驶场景进行初步划分，可划分为天空不可通行区域、垂直不可通行区域、地面可通行区域三类，并结合深度信息采用U-视差算法对垂直障碍物进行进一步检测，可实现对障碍物的检测、标记，获得障碍物的空间信息;根据LSD算法[6]、消失点检测算法[7]和可通行区域，进一步实现对道路的检测与车道保持，实现自主避障。实验结果表明，算法在实际城市道路采集的KITTI数据库[8]上具有良好的障碍物检测、道路检测与车道保持功能。