【摘 要】
：
一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度,减少模型的训练时间.本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题,根据模型参
论文部分内容阅读
一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度,减少模型的训练时间.本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题,根据模型参数的特点,提出了一种组合型学习策略:AdaMix.该策略为连接权重设计了一个仅与当前梯度有关的学习率,为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder对图像数据库MNIST进行重构,以模型反向微调过程中测试阶段的重构误差作为评价指标,验证几种学习策略对模型收敛性的影响.实验结果表明,AdaMix比AdaGrad和AdaDec的重构误差小并且计算量也低,具有更快的收敛速度.
其他文献
有效的作文教学必定是让学生在写作过程中有话想说，有话可说，能文从字顺地将自己的思想和情感表达出来的课堂。要构建有效的初中语文作文课堂，就需从激发学生的写作兴趣着手，让学
介绍如何在ＭＳＮＴＳｅｒｖｅｒ环境下，通过ＩｎｔｅｒｎｅｔＤａｔａｂａｓｃＣｏｎｎｅｃｔｏｒ实现Ｗｅｂ服务器问数据库服务器的动态联接，从而实现通过Ｗｅｂ动态发布数据库内容的目的。
目的探讨青光眼患者行复合式窦小梁切除术后发生浅前房的原因及处理方法。方法收集2009年1月至2013年12月期间平顶山市第一人民医院眼科213例（246只眼）窦小梁切除术后患者的临
一篇好的作文除了要内容具体、详略得当、写出自己的真情实感等外，还应有独到之处，有所创新，这样才能吸引人。创新能力就是创造出新的能力。江泽民同志指出：“创新是一个民族进步
介绍了ＨＴＭＬ控件与Ｊａｖａ小程序之间以及小程序之间通信的技术实现过程，提出在ＷＥＢ页面中，利用这些方法可以极大增强ＷＥＢ页面的交互性和动态性。
<正> 一九八七年四月七日下午,著名美学家、山东大学周来祥教授来我院作学术报告。周教授在报告中就中外美学研究的现状及其前景,阐述了自己的看法。关于美的本质问题。周教
第一次讲教育数学2008至2009年间，我系回顾评估并调整数学的专业设置。我提议把数学教育的专业改名为教育数学，并增设教育数学硕士专业。我作了一个报告，介绍张院士关于教育数学
我院袁俊昌副教授的又一部新作《学校领导管理心理学》业已出版。现将全国著名管理心理学专家、中国心理学会学校管理心理专业委员会主任委员、厦门大学高等教育科学研究所教
一种以ＰＩＣ１６Ｃ７１微处理器为核心的钢丝绳／钢丝缺陷无损检测仪器。采用尽可能精简的硬件结构降低成本，缺陷检测软件采用精简的联合判断算法。
介绍如何实现电压测量仪表与计算机之间的基于Windows 9x下通过拔号方式进行双向远程通信，给出硬件连接图和通信过程框图以及用VB6.0写的通信程序。