论文部分内容阅读
近年来,深度学习技术的研究促进了人工智能在学术界和工业界的发展。深度学习算法起源于人工神经网络,为多层神经网络在实际中的应用提供了一种有效的途径。得益于互联网推动下大数据的积累,以及基于图形处理单元(GPU)的并行计算能力的提升,两者正在促进深度学习算法应用到更广泛的领域,如无人驾驶。无人驾驶因能带了更安全的驾驶体验,降低交通事故发生率,并能有效减少城市中的交通拥挤而受到广泛关注。无人驾驶汽车是一个复杂的系统,而视觉感知是无人驾驶中很重要的一个组成部分。无人驾驶中的视觉感知负责理解周围环境中道路、车辆及行人等。在道路检测方面,传统方法多聚焦于结构化道路和单一道路的情况。但当无人驾驶汽车行驶在自然环境中,它通常需要应对更复杂的道路条件,如边界模糊,凹凸不平的道路,有树阴遮挡的道路,有多条道路同时存在的路口情况等。另一方面,传统算法通常采用浅层的特征提取用于物体的检测与识别。而浅层特征难以表达物体本身具有的抽象特征,因此难以应对同类物体中多变的形态,并且难以区分不同物体中相似的特征。另外,无人驾驶中的实时性要求也限制了计算复杂度较高的传统方法在实际场景中的应用。鉴于由多层神经网络计算出来的特征比传统通过人工设计的特征更具抽象性、稀疏性和不变性,本文旨在将基于深度学习算法的多层神经网络应用于无人驾驶中的基本视觉任务,即道路的检测、车辆检测、及物体的不变性识别等问题。具体内容如下展开:路口检测是无人驾驶中必须面对的一个问题。鉴于道路方向是一种即简单又有效的道路表达形式,我们首先引入道路方向点的定义,并尝试建模预测道路方向点,并应用于路口环境中。本论文提出一种复杂环境中基于卷积神经网络的道路方向点检测模型。所预测的道路方向点能作为无人车前进中的一个引导点。在路口条件下,该模型能检测多个道路方向点,并能为无人车提供不同的道路选择。同时,该模型可以辨别有铺设道路和非铺设道路两种路面类型,所预测的路面类别信息将有利于无人车根据不同的路面状况来调整车速。最后,该模型应用于一款专为深度学习算法而开发的嵌入式系统Jetson TX1上,每次前向计算的平均时间可达到12 FPS。实验表明,该模型适合于无人驾驶中道路方向估计的实时应用。单凭道路方向点检测还不能为无人驾驶汽车保驾护航。对道路边界的正确判断才是使无人车感知到可通行区域的关键所在。因此,本论文进而提出一个基于卷积神经网络的多路点实时检测模型,以适应从结构化道路到非结构化道路,单路到路口等复杂环境下的无人驾驶应用。首先,我们引入路点的概念用于道路边界的表示。七路点表示法将用来描述二维图像中的一条道路。其中包括一个道路方向点及平均分配到两道路边界的其余六个道边路点。对于路口情况,多组路点将用于描述路口的形状。其中每组路点对应一条道路。在自动导航中,该模型检测到的道路方向点可以用于引领方向。同时剩下的道边点可以串联起来共同勾勒出道路边界的轮廓,用于为无人驾驶汽车确定可通行区域。本论文进一步提出基于归一化误差面积的度量方法用于度量所预测道边与真实道边之间的差异。归一化误差面积最小化也作为损失函数的一部分用于改善模型性能。在该度量方法下,该模型的性能在不同的平台上测试,其中包括JetsonTX1。其在该嵌入式上的处理速度达到12FPS。实验表明,该多路点检测模型能为无人驾驶系统提供一个实时而有用的模块以应对多场景的应用需求。同时,它为道路检测提供一种高效,并且经济的解决方案。目标检测模块是无人驾驶汽车中另一个不可或缺的组成部分。在无人车的周围环境感知中,我们城市环境中常见的车辆、行人、甚至交通信号灯都有可能成为检测的对象。本文提出了基于道路方向点的车辆检测模型。通过利用估计好的道路方向点自适应地确定裁剪子区域的位置,并通过整合各个裁剪子区域的检测结果来检测道路远处的小面积车辆。该模型在城市环境与越野环境条件下的车辆图片集上进行性能测试。准确率与召回率曲线作为性能评价的依据。实验结果表明,该模型相对于原YOLO模型在平均性能上有所改善。自适应裁剪子区域的引入拓展了模型在检测更小目标方面的能力。同时,采用自适应裁剪子区域的方案相比采用固定裁剪子区域的方案有效减少了时间开销。另一方面,该基于视觉的车辆检测模型仍面临光照影响的挑战。鉴于大脑视觉通路中的物体不变性识别,我们尝试基于轨迹学习规则来研究时空一致性如何影响物体的识别。为此,我们建立了一个由两层深度置信网络和自组织网络构建的多层级联神经网络。其中两层深度置信网络将负责V2特征的提取。自组织网络建立在深度置信网络之上,其受轨迹学习规则的驱动而在训练阶段学习提取具有变换不变性的特征。基于特化激励信息量的度量方法,该模型与传统方法进行性能的比较与评估。实验结果表明,受轨迹学习规则驱动的自组织神经网络模型能涌现出更多特化激励信息量较高的神经元。它们有助于为进一步的物体识别提供更有价值,更具辨别度的特征信息。同时,该模型可以进一步完善并应用于无人驾驶中不变特征的在线学习。