论文部分内容阅读
受限制的玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种概率无向图模型,其原理可以追溯到统计力学的Boltzmann分布。目前,RBM的研究及其应用已广泛覆盖人工智能、机器学习、信号处理等热点领域,但模型也存在着表达能力有限、难以扩展等不足,针对这些不足,本文以RBM模型的改进、融合、拓展为思路,研究能够缓解过拟合问题的实值RBM模型、推广RBM的目标函数、构建基于RBM的深度判别模型和深度生成模型。具体研究内容如下:(1)研究RBM的特征表达问题在传统的RBM中,二值的隐藏层单元虽然能带来计算的便利,但也造成了特征表达过程中的信息损失。为了解决这个问题,本文将二值单元拓展为实值单元,提出基于附加单元的高斯RBM模型,用于判别任务和生成任务;针对生成任务,本文将RBM的损失函数从KL散度拓展到对抗损失,提出了基于隐式梯度的对抗RBM模型,使用Gibbs采样,该拓展模型可以在目标函数梯度为隐式形式的情况下直接使用BP算法训练,因此可以灵活选择目标函数的形式,从而改善RBM在图像生成中的过度光滑问题,并且采样过程无需维持额外的马尔科夫链。(2)研究缓解RBM过拟合问题的有效方法尽管基于Dropout方法的RBM和神经网络在判别任务中是有效的,但是在图像重构任务中,Dropout RBM在某些数据集表现不佳。为了提供一种更适合RBM的缓解过拟合问题的方法,使RBM在生成任务和判别任务中都有稳定、有效的表现,本文根据随机变量的思想,将RBM中可训练参数视为服从高斯分布的随机变量,训练过程中确定高斯分布的期望和协方差,而每一次前向计算中使用的权值都是对该随机变量的采样,由此,即保证了权值在每一次传播过程中略有不同,又保证了权值具有统一的分布特性。(3)研究基于深度特征嵌入的深度判别模型在基于RBM的深度判别模型中,训练过程分为逐层迭代的预训练阶段和全局参数微调的训练阶段。然而全局微调的效果取决于预训练结果,为了避免复杂的反复训练,本文首先使用核极限学习机作为DBN模型的分类器,完成分类任务、避免全局的参数微调过程;然而在无监督预训练阶段得到的特征可能与判别任务相关、也可能与任务无关。因此,为了充分利用预训练阶段提取的深度特征,本文将该深度特征用作极限学习机(Extreme Learning Machine,ELM)的隐式特征,替换ELM的随机特征映射部分,提出了基于深度特征嵌入的增量极限学习机;基于ELM快速分类的特点,通过逐步调整深度嵌入特征,并将其用作ELM的分类特征,完成分类任务。(4)研究RBM在深度生成模型中的应用与拓展深度玻尔兹曼机(Deep Boltzmann Machine,DBM)模型的训练过程相对复杂,为了有效的生成图像并简化DBM的训练过程,本文利用Gibbs采样,提出了基于对抗损失的隐式深度玻尔兹曼机;为了有效的处理二维彩色图像的生成问题,本文引入卷积结构,提出了基于对抗损失的卷积混合生成模型;为了拓展RBM模型的深度,本文引入Flow模型,使用Boltzmann先验替代简单的非参数化先验,并最小化对抗损失替代极大似然估计,提出了具有Boltzmann先验的对抗非体积保持流模型,并验证了模型在图像生成任务中的有效性。该论文有图33幅,表24个,参考文献172篇。