论文部分内容阅读
激活函数在深度学习中具有重要作用,深度学习在人工智能领域取得瞩目成绩的部分原因在于其激活函数的改进.但是目前的激活函数仍存在着神经元死亡现象严重、梯度消失等缺点.为了解决以上问题,本文基于tanh函数的负半轴可以减轻梯度消失,和ReLU函数正半轴不存在神经元死亡现象,提出了一个新的激活函数：ThLU函数.ThLU函数的正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴.为了验证ThLU函数的性能,本文基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证.试验结果表明：基于ThLU函数训练得到的神经网络模型比基于ReLU,LReLU和ELU函数训练得到的神经网络模型具有更高的准确率、更低的损失.即：ThLU函数可以减轻神经元死亡和梯度消失现象,是一个高效的激活函数.