基于受限玻尔兹曼机的专家乘积系统的一种改进算法

• 作 者: 沈卉卉 李宏伟
• 机 构: 中国地质大学数理学院,湖北经济学院信息管理与统计学院,中国地质大学地球内部多尺度成像湖北省重点实验室
• 出 处: 电子与信息学报
• 发表日期: 2018年09期
• 关键词: 深度学习 专家乘积 神经网络 受限玻尔兹曼机 动量 Deep learningProduct Of Experts （POE）Neural networkRes
• 基金项目: 湖北省教育厅科学技术研究计划重点项目（D20182203）

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU