论文部分内容阅读
深层结构神经网络因结构复杂、理论分析困难和长时间的调参过程导致其发展受到了一定的限制。以单隐层神经网络为基础发展来的宽度学习系统提供了另一个角度的解决办法，它实现简单、结构精简、训练速度快，在各领域有广阔的应用前景。但宽度学习还存在一些例如神经元的随机性、冗余性以及对不同维度数据的适应能力等问题。针对宽度学习系统中可能存在的问题，本文的主要工作如下：
(1)优化系统结构，提出稀疏的宽度学习系统。宽度学习系统通过随机映射生成隐藏层神经元，为保证能充分学习到输入数据的信息，其隐藏层节点数往往很多。针对系统可能存在的冗余性，本文提出采用基于?1范数的稀疏宽度学习系统来选择最优隐藏层节点，同时提出使用可分离替代函数法来快速的求解基于?1范数的稀疏表示问题，并通过在19个数据集上的实验表明该方法较宽度学习系统，超限学习机，支持向量机能取得更好的泛化性能，并且所使用的神经元数更少。
(2)改进稀疏表示方法。针对?1范数可能存在的过惩罚和偏差估计等问题，本文从贝叶斯的角度出发，提出了基于?0和?1混合范数稀疏的宽度学习系统。它不仅解决了?0范数约束下方程组的不稳定解问题和?1范数的过惩罚问题，并且所得结果比?1范数的更稀疏。其次，将可分离替代函数法延伸至基于混合范数的稀疏表示问题的求解中来。最后通过实验证明了?0和?1混合范数稀疏确实能取得最稀疏的结果。
(3)检验系统对不同维度数据的适应力，丰富系统应用。为检验稀疏的宽度学习系统在不同维度数据上的适应能力，本文进一步以人脸数据为应用对象，检验稀疏宽度学习系统的人脸性别识别性能。本文提出了基于稀疏宽度学习和SVD特征融合的人脸性别识别算法：通过将人脸图片划分成块来提取图片的局部化信息和全局化信息，并进行特征融合，使用融合特征对稀疏宽度学习系统进行训练以实现人脸性别分类。实验结果证明了使用分块数量越多的融合特征训练的稀疏宽度学习系统性能越好。除此之外，还在性别数据集上实验验证了宽度学习系统增量学习算法的有效性。
(1)优化系统结构，提出稀疏的宽度学习系统。宽度学习系统通过随机映射生成隐藏层神经元，为保证能充分学习到输入数据的信息，其隐藏层节点数往往很多。针对系统可能存在的冗余性，本文提出采用基于?1范数的稀疏宽度学习系统来选择最优隐藏层节点，同时提出使用可分离替代函数法来快速的求解基于?1范数的稀疏表示问题，并通过在19个数据集上的实验表明该方法较宽度学习系统，超限学习机，支持向量机能取得更好的泛化性能，并且所使用的神经元数更少。
(2)改进稀疏表示方法。针对?1范数可能存在的过惩罚和偏差估计等问题，本文从贝叶斯的角度出发，提出了基于?0和?1混合范数稀疏的宽度学习系统。它不仅解决了?0范数约束下方程组的不稳定解问题和?1范数的过惩罚问题，并且所得结果比?1范数的更稀疏。其次，将可分离替代函数法延伸至基于混合范数的稀疏表示问题的求解中来。最后通过实验证明了?0和?1混合范数稀疏确实能取得最稀疏的结果。
(3)检验系统对不同维度数据的适应力，丰富系统应用。为检验稀疏的宽度学习系统在不同维度数据上的适应能力，本文进一步以人脸数据为应用对象，检验稀疏宽度学习系统的人脸性别识别性能。本文提出了基于稀疏宽度学习和SVD特征融合的人脸性别识别算法：通过将人脸图片划分成块来提取图片的局部化信息和全局化信息，并进行特征融合，使用融合特征对稀疏宽度学习系统进行训练以实现人脸性别分类。实验结果证明了使用分块数量越多的融合特征训练的稀疏宽度学习系统性能越好。除此之外，还在性别数据集上实验验证了宽度学习系统增量学习算法的有效性。