论文部分内容阅读
随着深度学习技术受到学术界和工业界的广泛关注，它也已经成为机器学习、模式识别和计算机视觉等领域的热点问题。深度学习的创新主要是在传统深度神经网络中引入许多新技术，如:无监督预训练、稀疏表示、逼近预测表示和新的激活函数等等。本文将围绕无监督预训练机理、可训练激活函数、组稀疏表示和逼近低秩表示展开研究工作，主要归纳如下: 第一，本文证实:相比传统的深度神经网络，预训练是稀疏初始化策略。深度学习的成功主要归功于无监督预训练技术，即:用无监督的预训练模型去初始化深度神经网络的权值参数。虽然无监督预训练已经有初始正则化和初始优化解释，但它成功的原因并不完全清楚。本文从稀疏的角度研究预训练技术。首先，给出一般性预训练模型（包括自动编码器和约束玻尔兹曼机及其变型模型）增加稀疏度、降低稀疏度和稀疏平衡点的充分条件。其次，从特征学习角度，预训练模型也容易获得稀疏性，其原因是模型参数（特征探测器）滤掉大量不相关的特征和抑制不重要特征来实现稀疏表示。最后，证实无监督预训练技术是稀疏初始正则化策略或稀疏初始优化策略。 第二，受预训练鼓励稀疏和生物神经元的激活模型(Integrate-and-Fire Model)的启发，本文提出一类可训练且引导稀疏的激活函数。相比于截断激活函数(ReLU)，提出的激活函数更好地成为连接计算神经科学模型和机器学习模型的一个桥梁。相比于稀疏惩罚，可训练激活函数是一种更自然的方法来获得稀疏表示。实验结果也证实具有此激活函数的深度神经网络可以相比于一些预训练技术（在具有sigmoid激活函数的深度神经网络中）的识别能力。 第三，本文提出两类组稀疏深度堆叠网络，即堆叠两类组稀疏基本（神经网络）模块而成。首先，将简单的三层神经网络模块的隐节点划分到不重叠的组去捕获基本模块中隐节点之间的局部依赖性，进而提出第一类组稀疏基本模块。其次，在三层神经网络模块中将不同类样本的隐层表示安排到一组以便使基本模块可以学习到样本的组稀疏表示，进而提出第二类组稀疏基本模块。最后，这两类基本模块都可以通过添加l1/l2正则化来实现，并将它们堆叠成了两类组稀疏深度堆叠网络。实验结果证实组稀疏深度堆叠网络的分类能力，特别是在场景15数据库上，达到98.95％的识别率。 第四，本文提出一类深度投影低秩表示模型，即直接地学习深度投影函数去逼近从类别矩阵中学习到低秩表示。在低秩表示模型中，独立图像子空间假设不仅在真实图像中很难得到保证，而且还限制不同子空间的字典去协作表示样本。幸运地是，在监督图像分类中类别矩阵是标准的低秩矩阵（也是最鲁棒的图像表示），所以低秩表示信号可以从独立的类别子空间中汲取，而不是独立的图像子空间。同时为了从图像数据中学习到更抽象的表示，可以通过深度投影函数去逼近低秩表示信号，进而放弃对图像子空间的独立假设。实验结果也证实在不满足独立图像子空间假设的数据库中，提出模型是有效的。