论文部分内容阅读
摘要：激勵函数对深度神经网络的非线性逼近性能具有重要影响，其选择与任务相关。针对这一问题，提出基于自适应选择算法的深度置信回声状态网络模型，并应用于海洋环境多因素时间序列预测。该模型集成了14种激励函数，通过预测性能比较实现自适应选择功能。仿真结果表明，该模型能够正确选择出最优激励函数，具有良好的海洋数据多因素预测能力。
关键词：海洋环境数据;时间序列预测;深度置信回声状态网络;自适应选择算法;激励函数
Abstract： Activation function （AF） has an important effect on the nonlinear approximation performance of deep neural networks. The choice of AFs is task-related. For this problem， a deep belief echo-state network based on self-adaptive selection （SAS-DBEN） is proposed for ocean-related multi-factor time series prediction. In this model， 14 activation functions are integrated， and the self-adaptive selection is implemented by comparing the prediction performance. Experimental results show that SAS-DBEN can select the optimal AF correctly and has a good multi-factor prediction ability of ocean data.
Key words： ocean environment data; time series prediction; deep belief echo-state network; self-adaptive selection algorithm; activation function
1 引言
近年来，我国多个近岸海域污染严重。如何加强对海洋污染的应对，维护海洋环境长久稳定，是当前急需解决的问题。叶绿素是影响海洋环境污染的主要因素。藻类植物作为叶绿素的主要提供者，其增殖过程受多种海洋环境因素共同影响，是一种极其复杂的非线性过程[1]。鉴于此，本文研究多因素预测叶绿素和蓝绿藻的方法。
目前，深度学习已成为数据预测领域的主流方法。深度置信回声状态网络（Deep Belief Echo-state Network， DBEN）由于其强大的特征提取功能和非线性回归能力，已成功应用于海洋领域[2]。实际上，激励函数在深度神经网络中具有关键作用。通过激励函数，网络可以在任何给定的深度学习架构中，实现层结构之间的复杂函数计算和非线性映射[3]。
鉴于DBEN良好的预测能力以及激励函数在DNN中的重要作用，提出了一种结合自适应选择算法（Self-adaptive Selection， SAS）和DBEN的新型海洋环境多因素预测模型SAS-DBEN。该模型提供了一种自适应的通用功能，使模型具有灵活性，有利于提高海洋环境多因素预测精度。
2 海洋环境多因素预测模型
2.1 建立激励函数池
SAS-DBEN通过比较不同激励函数下的预测性能来确定最优激励函数。首先，建立激励函数池F={f1， f2， …， fM}（m=1，2， …， M），对所考虑的函数进行封装和标记，为后续自适应激励机制和函数调用做准备。这里，我们考虑了14种激励函数集成到SAS-DBEN框架下的激励函数池中，具体激励函数如表1所示。
2.2 海洋环境特征提取
建立激励函数池后，我们将经过数据预处理后的数据集注入SAS-DBEN模型中。该模型以DBN作为特征提取器，与可见层v和隐藏层h相关的能量函数表达如下：
2.3 非线性逼近
准确的海洋环境数据预测取决于深度神经网络中的非线性回归机制。SAS-DBEN采用了基于储备池计算理论的非线性逼近方法，储备池状态更新和网络输出表示为：
其中，W表示内部权重矩阵，I表示输入权重矩阵，Wback表示反馈权重矩阵，O表示输出权重矩阵，m（t）表示时间步长为t时刻的储备池输入信号，x（t）和y（t）分别表示储备池的状态和输出，σ（?）表示储备池内部的激活函数，本章采用Tanh函数作为回归阶段神经元中的激活函数。
2.4 自适应激励机制
在训练过程中，通过自适应激励机制，模型可以根据输入数据的特征选择适用于该数据的激励函数。本文以归一化均方根误差（Normalized Root Mean Squared Error， NRMSE）作为最优激励函数的度量标准。按照激励函数池中的标记顺序，分别对m个误差数值进行比较，置换出较小误差值继续比较，得出最优激励函数，完成自适应激励函数选择，这也意味着SAS-DBEN模型训练结束。
3 实验
3.1 实验数据
本实验采用海、陆、空、天四维立体化海洋监测网获取的海洋数据，考虑了10种与海洋环境高度相关的因素作为模型的输入，即1/10波浪周期、平均波浪周期、气温、相对湿度、磷酸盐、氨氮、水温、pH值、叶绿素和蓝绿藻。采用上述因素进行2组仿真实验，预测叶绿素和蓝绿藻的动态变化趋势，实现多输入单输出预测。将数据的70%用于模型训练，30%用于模型测试。为缓解网络初始化对储备池状态造成的影响，舍弃了训练和测试时间序列中的前100个数据。 3.2 实验验证
本文结合自适应选择算法和DBEN神经网络，建立了SA-DBEN预测模型来执行多因素海洋环境数据预测任务。表2给出了SAS-DBEN在叶绿素预测和蓝绿藻预测中的最优激励函数选择结果以及对应的NRMSE值。可以看出，叶绿素预测和蓝绿藻预测的误差均在0.04以下，预测精度良好;选择的激励函数分别为双极S型函数和缩放Tanh函数，而不是默认函数。这不仅体现了SAS-DBEN模型在预测方面的优越性，而且证明了自适应激励机制的必要性。
根据表2的结果，我们对两组实验的预测结果做进一步性能评估。图1和图2分别给出了最优激励函数下的SAS-DBEN在叶绿素和蓝绿藻预测任务中的预测输出与实际输出。从图中可以看出，两组实验下的预测输出曲线与实际输出曲线拟合程度很高，说明经过自适应选择后的SAS-DBEN对叶绿素序列和蓝绿藻序列都具有较好的预测效果。
4 结论
本文设计了具有自适应选择激励函数功能的深度计算模型SAS-DBEN，并成功应用于海洋环境多因素预测任务中。该模型通过自适应激励机制，自主选择适配当前海洋环境数据特征的激励函数。实验结果表明，该模型可以高效完成海洋环境多因素预测任务。
参考文献：
[1] 田思瑶， 于晓彩， 塔荣凤， 等. 辽东湾中部近岸海域COD、石油类、叶绿素分布特征及富营养化状态评价[J].大连海洋大学学报， 2019， 34（5）： 739-745.
[2] Li Z， Wang J， Cai D， et al. Smoothed Deep Neural Networks for Marine Sensor Data Prediction[J]. IEEE Access， 2020， 8： 22802-22811.
[3] Nwankpa C， Ijomah W， Gachagan A， et al. Activation functions： Comparison of trends in practice and research for deep learning[J]. arXiv preprint， arXiv： 1811.03378， 2018.
[4] 李瑩琦， 黄越， 孙晓川. 基于深度置信回声状态网络的网络流量预测模型[J]. 南京邮电大学学报（自然科学版）， 2018， 38（5） ：85-90.
【通联编辑：王力】
关键词：海洋环境数据;时间序列预测;深度置信回声状态网络;自适应选择算法;激励函数
Abstract： Activation function （AF） has an important effect on the nonlinear approximation performance of deep neural networks. The choice of AFs is task-related. For this problem， a deep belief echo-state network based on self-adaptive selection （SAS-DBEN） is proposed for ocean-related multi-factor time series prediction. In this model， 14 activation functions are integrated， and the self-adaptive selection is implemented by comparing the prediction performance. Experimental results show that SAS-DBEN can select the optimal AF correctly and has a good multi-factor prediction ability of ocean data.
Key words： ocean environment data; time series prediction; deep belief echo-state network; self-adaptive selection algorithm; activation function
1 引言
近年来，我国多个近岸海域污染严重。如何加强对海洋污染的应对，维护海洋环境长久稳定，是当前急需解决的问题。叶绿素是影响海洋环境污染的主要因素。藻类植物作为叶绿素的主要提供者，其增殖过程受多种海洋环境因素共同影响，是一种极其复杂的非线性过程[1]。鉴于此，本文研究多因素预测叶绿素和蓝绿藻的方法。
目前，深度学习已成为数据预测领域的主流方法。深度置信回声状态网络（Deep Belief Echo-state Network， DBEN）由于其强大的特征提取功能和非线性回归能力，已成功应用于海洋领域[2]。实际上，激励函数在深度神经网络中具有关键作用。通过激励函数，网络可以在任何给定的深度学习架构中，实现层结构之间的复杂函数计算和非线性映射[3]。
鉴于DBEN良好的预测能力以及激励函数在DNN中的重要作用，提出了一种结合自适应选择算法（Self-adaptive Selection， SAS）和DBEN的新型海洋环境多因素预测模型SAS-DBEN。该模型提供了一种自适应的通用功能，使模型具有灵活性，有利于提高海洋环境多因素预测精度。
2 海洋环境多因素预测模型
2.1 建立激励函数池
SAS-DBEN通过比较不同激励函数下的预测性能来确定最优激励函数。首先，建立激励函数池F={f1， f2， …， fM}（m=1，2， …， M），对所考虑的函数进行封装和标记，为后续自适应激励机制和函数调用做准备。这里，我们考虑了14种激励函数集成到SAS-DBEN框架下的激励函数池中，具体激励函数如表1所示。
2.2 海洋环境特征提取
建立激励函数池后，我们将经过数据预处理后的数据集注入SAS-DBEN模型中。该模型以DBN作为特征提取器，与可见层v和隐藏层h相关的能量函数表达如下：
2.3 非线性逼近
准确的海洋环境数据预测取决于深度神经网络中的非线性回归机制。SAS-DBEN采用了基于储备池计算理论的非线性逼近方法，储备池状态更新和网络输出表示为：
其中，W表示内部权重矩阵，I表示输入权重矩阵，Wback表示反馈权重矩阵，O表示输出权重矩阵，m（t）表示时间步长为t时刻的储备池输入信号，x（t）和y（t）分别表示储备池的状态和输出，σ（?）表示储备池内部的激活函数，本章采用Tanh函数作为回归阶段神经元中的激活函数。
2.4 自适应激励机制
在训练过程中，通过自适应激励机制，模型可以根据输入数据的特征选择适用于该数据的激励函数。本文以归一化均方根误差（Normalized Root Mean Squared Error， NRMSE）作为最优激励函数的度量标准。按照激励函数池中的标记顺序，分别对m个误差数值进行比较，置换出较小误差值继续比较，得出最优激励函数，完成自适应激励函数选择，这也意味着SAS-DBEN模型训练结束。
3 实验
3.1 实验数据
本实验采用海、陆、空、天四维立体化海洋监测网获取的海洋数据，考虑了10种与海洋环境高度相关的因素作为模型的输入，即1/10波浪周期、平均波浪周期、气温、相对湿度、磷酸盐、氨氮、水温、pH值、叶绿素和蓝绿藻。采用上述因素进行2组仿真实验，预测叶绿素和蓝绿藻的动态变化趋势，实现多输入单输出预测。将数据的70%用于模型训练，30%用于模型测试。为缓解网络初始化对储备池状态造成的影响，舍弃了训练和测试时间序列中的前100个数据。 3.2 实验验证
本文结合自适应选择算法和DBEN神经网络，建立了SA-DBEN预测模型来执行多因素海洋环境数据预测任务。表2给出了SAS-DBEN在叶绿素预测和蓝绿藻预测中的最优激励函数选择结果以及对应的NRMSE值。可以看出，叶绿素预测和蓝绿藻预测的误差均在0.04以下，预测精度良好;选择的激励函数分别为双极S型函数和缩放Tanh函数，而不是默认函数。这不仅体现了SAS-DBEN模型在预测方面的优越性，而且证明了自适应激励机制的必要性。
根据表2的结果，我们对两组实验的预测结果做进一步性能评估。图1和图2分别给出了最优激励函数下的SAS-DBEN在叶绿素和蓝绿藻预测任务中的预测输出与实际输出。从图中可以看出，两组实验下的预测输出曲线与实际输出曲线拟合程度很高，说明经过自适应选择后的SAS-DBEN对叶绿素序列和蓝绿藻序列都具有较好的预测效果。
4 结论
本文设计了具有自适应选择激励函数功能的深度计算模型SAS-DBEN，并成功应用于海洋环境多因素预测任务中。该模型通过自适应激励机制，自主选择适配当前海洋环境数据特征的激励函数。实验结果表明，该模型可以高效完成海洋环境多因素预测任务。
参考文献：
[1] 田思瑶， 于晓彩， 塔荣凤， 等. 辽东湾中部近岸海域COD、石油类、叶绿素分布特征及富营养化状态评价[J].大连海洋大学学报， 2019， 34（5）： 739-745.
[2] Li Z， Wang J， Cai D， et al. Smoothed Deep Neural Networks for Marine Sensor Data Prediction[J]. IEEE Access， 2020， 8： 22802-22811.
[3] Nwankpa C， Ijomah W， Gachagan A， et al. Activation functions： Comparison of trends in practice and research for deep learning[J]. arXiv preprint， arXiv： 1811.03378， 2018.
[4] 李瑩琦， 黄越， 孙晓川. 基于深度置信回声状态网络的网络流量预测模型[J]. 南京邮电大学学报（自然科学版）， 2018， 38（5） ：85-90.
【通联编辑：王力】