【摘 要】
：
近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、Re LU和PRe LU在随着研究的深入暴露出越来越多的问题,比如存在"神经
【机 构】
：
中北大学 软件学院,太原,030051
论文部分内容阅读
近年来深度学习在各个研究领域取得越来越多的成果,这些都离不开激活函数的发展.但现有的激活函数Tanh、Re LU和PRe LU在随着研究的深入暴露出越来越多的问题,比如存在"神经元死亡"和偏移现象,对噪声不具有鲁棒性.针对这些问题,结合Tanh和PRe LU的优点,提出了TReLU激活函数,通过参数α控制负半轴非饱和区间获得激活值,输出近似0均值,软饱和性对噪声鲁棒.实验结果表明,TReLU在四种不同的数据集上都取得了最好的效果,对不同优化方法具有鲁棒性,具有一定的实用价值.
其他文献
农业是整个国民经济的基础,粮食是基础的基础.农业产业结构的调整,必须要有粮食这个基础,重视它在国民经济中的战略地位.rn
微信的出现及快速普及,影响了传统媒体的传播方式、本文探讨微信在档案中的传播及应用,并进行了调查和思考。
The emergence and rapid popularization of WeChat has affec
四川新中消防工程有限责任公司其前身成立于1987年,是中国最早的消防专业公司之一,2002年被建设部批准为消防工程一级和公共安全技术防范工程、设计、施工一级企业。公司迄今
今年6月底以来全省出现的高温干旱天气,平均气温之高、平均降水量之少、平均无雨日数之多、平均蒸发量之大、重旱以上等级范围之广、平均高温日数之多、高温持续时间之长等指
为了研究伊犁马催乳素(PRL)基因、垂体转录因子(POU1 F1)基因多态及其与产奶量之间的关系,试验以新疆伊犁昭苏牧场73头伊犁马母马为研究对象,利用PCR-RFLP技术分析了伊犁马PR
Persimmon(Diospyros kaki Thunb.),a member of Ebenaceae family,is known as“woody grain”and“iron-stem crop”.However,the epigenetic research has been rarely re
在刚刚过去的一年,中国市场以4.2亿美元的年进口量成为巴沙鱼全球第一大消费市场,转眼到2018年,国内的巴沙鱼养殖产业就如火如荼的进行筹备清明过后,南方的气温逐渐开始回升,
我是河南省灵宝市汇丰采供部普通职工王芳 ,多年来一直自费订阅我非常喜爱的《湖南林业科技》 ,每期必读 ,自认贵刊办得内容特别丰富 ,异彩纷呈。我在贵刊学到很多生活与科技
以湘晚籼17号为材料,利用缓释氮肥研究了带肥抛秧对水稻秧苗素质、生育期、农艺性状及产量的影响。结果表明:带肥抛秧可明显提高湘晚籼17号的秧苗素质,促进水稻生育前期根系
安全问题是无线传感器网络应用的关键问题之一。设计了一种基于分布式机器学习的异常检测方案。该方案利用K最近邻算法对传感器网络节点进行分簇,时簇内节点的异常检测采用贝叶斯分类算法,对簇头节点的异常检测采用基于平均概率的方法。利用网络仿真工具NS2构建了入侵检测规则、模拟了网络攻击场景,在此基础上,通过仿真评估了方案的检测率、平均检测率、误检率和平均误检率等性能。仿真实验结果表明,该方案与当前典型的无线