论文部分内容阅读
近些年，储存池计算（Reservoir Computing，RC）技术发展迅猛，作为RC代表的回声状态网络(Echo State Network，ESN)被广泛关注和研究。ESN是一种新型的递归神经网络（Recurrent Neural Network，RNN），它的核心是一个神经元数量规模巨大(50到500)的隐层，被称为储存池。储存池中的神经元之间是稀疏连接的，连接权值是随机生成的，一旦完成初始化之后就保持不变。而训练过程中只有储存池到输出神经元之间连接权值需要调整，而这部分的调整只需通过简单的线性回归就解决了，这样就大幅度地降低了网络训练量和难度。 但ESN仍然有一些缺陷限制了它的进一步发展，这些缺陷也亟待人们来解决。本文将集成学习的思想引入ESN进行改进，通过生成多个ESN构造ESN集成模型，进而提高ESN集成模型的预测性能和和泛化能力。具体工作如下: (1)针对ESN生成的随机性以及预测性能不高的问题，本文将改进的基于重构训练集的负相关学习NCLCD(Negative Correlation Learning via Correlation-Corrected Data)引入ESN集成中，提出了基于负相关学习的ESN集成网络模型(ESN-En-NCLCD)。通过NCLCD方法，我们重构了训练数据集，然后让每个ESN在各自的重构训练集上训练，最后将训练好的子ESN进行集成，进而得到最后的ESN-En-NCLCD模型。通过三个时间序列对象的仿真实验证明ESN-En-NCLCD模型在预测精度上是优于单个ESN和简单ESN集成的。 (2)针对随着个体ESN个数的增多，集成ESN的预测速度会变慢，所需的存储空间也会变大的问题。本文将选择性集成的思想引入到ESN的集成学习建模中，提出了基于二进制粒子群优化的ESN选择性集成网络模型(SESN-En-BPSO)。针对ESN集成中可能存在的冗余，我们选择部分训练好的子ESN参与集成，并且应用二进制粒子群(BPSO)进化算法来选择出最优的组合方案，从而舍去部分冗余的子ESN，简化了ESN集成的规模。 通过三个时间序列对象的仿真实验证明，SESN-En-BPSO模型在预测精度上也是优于单个ESN和全部子ESN都参与的集成模型。