论文部分内容阅读
人工智能的一个根本任务是对我们的世界进行建模,抽取必要的语义信息,并以此来展现这个世界。例如从基本的像素点到人类可以理解的抽象语义概念这样一个复杂任务,中间需要经历不同层次的抽象(非线性映射),每层的映射结果在更高的层次被利用,因此这些映射一同形成了一个深度网络结构。深度网络表达了自动的多层次特征抽取的学习结构,它的一个代表是深度(多层)人工神经元网络。深度人工神经元网络自底向上地逐层抽取特征,在最上层对实例分类,采用反向传播算法来更新整体网络权重,以此达到更好的分类效果。近年来研究者提出的无监督预训练步骤,使得网络整体取得了更好的学习效果。无监督的预训练算法,从根本上来说是对特征进行预抽取。但是,真实世界的数据通常结构复杂并且含有噪声,无监督的训练方法抽取的特征并不能很好地反映数据特性。我们希望深度网络学习的任务,大多数具有很强的目的性,典型的例子就是分类,因此针对特定任务,我们需要适当地引导计算机进行有意义的特征抽取。另一方面,人们需要机器学习的结果是可以理解的,而不仅仅只是一个类别标记。本文提出了在深度网络中采用原型学习的算法,并且把该算法用于分类问题。我们提出原型自动编码机作为深度网络结构的基本单元。在原型编码机中,含有背景噪声的数据作为输入,通过中间隐藏层在输出端拟合对应原型,这样可以指导编码机学习到噪声实例中有效的特征,并且利用特征用来重构原型。为了进一步利用深度网络的强大表达能力,本文提出通过自下向上地叠加原型自动编码机来学习不同层次的特征表达,这样就构成了原型深度网络。为了验证原型深度网络的效果,我们在含有背景噪声的MNIST数据集与矩形识别数据集上进行实验,比较了各种典型的深度网络对于噪声数据的处理能力。实验结果表明基于原型的深度网络具有较强的特征抽取能力,在实验中取得了较高的分类精度。