基于特征学习的RGB-D目标识别算法研究

• 作 者: 李威
• 出 处: 华中科技大学
• 发表日期: 2016年期
• 关键词: 目标识别 深度学习 Fisher Vector 编码 稀疏表达 多视角学习

近几年随着传感器技术的发展(微软的Kinect,Intel RealSense 3D等),彩色和深度图像(RGB-D)可以同时获得。那么目标的深度数据的引入的确可以得到额外具有描述能力的信息。那么相对于传统的基于RGB的目标识别范例,如何更好的使用RGB-D的信息来进行目标识别。直观的来说,二维RGB图像并不能获取目标的三维几何特性,而深度信息的引入就带来了克服这个问题的潜力。因此,研究有效的、较强表达能力的RGB-D目标识别算法具有重要的理论意义和实用价值。为了有效的利用深度图像的三维几何信息并结合彩色二维结构信息,即从RGBD图像中获取具有较强表达能力的特征,本文旨在研究性能优异的RGB-D目标识别算法。为此,本文提出了两种基于特征学习RGB-D目标识别算法并取得了比较良好的实验效果。论文的主要内容如下:首先,针对标准的多模态输入的RGB-D目标识别任务,本文提出了一种基于深层卷积神经网络与特征编码的混合结构的RGB-D目标识别算法。利用深层卷积神经网络对于彩色模态的数据利用深层卷积神经网络提取高级的特征表达。对于深度图像利用改进的HONV特征描述子作为底层特征描述并进行Fisher Vector编码以增强特征描述。总体的特征由各个模态的特征级联得到并利用线性支撑向量机作为分类器,在通用RGB-D物体数据集上取得了最优的识别性能。其次,本文研究以无监督的方式为RGB-D图像提取表达能力强的特征,提出了基于多视角无监督学习的RGB-D目标识别算法。对于给定的一帧RGB-D图像数据,利用多视角数据表达将其转换为不用“视角”的数据形式。对于每个视角的数据送入我们提出的无监督特征学习算法(卷积匹配跟踪)进行特征提取。在公共数据集上实验结果表明本文算法中采用的每个视角数据之间的互补特性以及提出的算法的有效性。