论文部分内容阅读
近几年来,深度学习成为机器学习研究中的一个热点领域,在数据挖掘、自然语言处理、推荐和个性化技术等方面都取得了突破性进展。卷积网络是深度学习架构中的重要组成部分,主要包括了空间域的卷积神经网络(Convolutional Neural Network:CNN)、主成分变换域的主成分分析网络(Principal Component Analysis Network:PCANet)和小波变换域的小波散射网络(Scattering wavelet Network:ScatNet)。卷积网络是为处理二维图像识别问题而专门设计的,对平移、旋转、尺度变换等具有高度不变性,因此具备良好的学习能力和容错能力。尽管卷积网络已取得很大的突破,但仍然存在一些问题值得进一步的探索与研究。本文以卷积网络为基础,将矩变换、分数阶小波变换等方法融入卷积网络的构造之中,构造出了改进的卷积网络算法模型,主要工作如下:1、矩网络算法模型。该模型是对PCANet的改进,将矩的不变性融入到PCANet模型中,使用不同的矩作为卷积核滤波器得到相应的矩网络,各个矩网络在分类任务上会有不同表现。为了验证矩网络的有效性,在具有旋转特征的二值图像库MPEG7-CE1-B数据集上进行了实验,实验包括比较网络中各个参数、所使用的矩对网络性能的影响,将矩网络与经典算法的分类效果进行对比等。相较于原始的PCANet算法、主成分分析(Principal Compoment Analysis:PCA)算法、或者以样本矩值直接作为分类特征等的算法,Zernike矩网络、Legendre矩网络等都取得了更好的分类效果,从而验证了矩网络的合理性和有效性。2、混合卷积网络。基于ScatNet+CNN的混合卷积网络结构,将非监督学习算法与监督学习算法进行融合,构造出其他混合卷积网络。首先将分数阶小波散射网络(Fractional Scattering wavelet Network:FrScatNet)与经典的CNN网络进行混合,得到一种新的混合卷积网络FrScatNet+CNN,该网络结合了FrScatNet和CNN各自的优点,在CIFAR-10与CIFAR-100数据集上的实验表明,混合网络FrScatNet+CNN在图像分类问题中具有较好的表现。此外,以ScatNet作为混合网络第一层的非监督数据表示层,以其他的CNN网络、全连接网络(Full Connected Network:FCN)等监督学习算法作为第二层的监督学习层,构建出其他的混合卷积网络。将这些混合网络与其他网络进行对比,所使用的网络主要有全连接网络、VGG网络、NIN(Network In Network:NIN)网络、浅层的CNN网络、深层的CNN网络等,在CIFAR-10不同数量级的子数据集上进行实验,实验结果证明混合卷积网络在取得了很好的分类效果的同时,不易发生过拟合问题。