论文部分内容阅读
近年来,基于回声状态网络(Echo State Network, ESN)的时间序列分析和预测技术逐渐受到国内外研究者的广泛重视,成为一个具有重要理论和应用价值的研究热点。作为一种全新的递归神经网络,回声状态网络只训练部分连接权,克服了传统递归神经网络固有的训练算法过于复杂、容易陷入局部最优等问题,逐渐成为时间序列分析和预测的主要工具之一。但是,经典ESN对于非线性动态系统的表达能力有限,难以充分满足现实应用中各类预测问题对于预测精度的要求。鉴于此,针对预测精度以及适应性等问题,本文从ESN的扩展和改进及其储备池参数选择两个方面入手,开展基于回声状态网络的时间序列预测方法研究,主要研究工作包括以下五个方面的内容:1.针对时间序列多步预测问题,利用回声状态网络处理多输出问题的能力,提出一种基于回声状态网络的时间序列多步预测方法框架。在此基础上,以加权平均方式融合直接预测和迭代预测结果,设计了该预测方法框架的一种具体实现方式。实验表明,与直接预测和迭代预测相比,该方法获得了更高的预测精度。2.针对多尺度时间序列预测问题,提出一种基于小波分解全局回声状态网络的时间序列预测方法。该方法根据小波分解后不同尺度子序列的特点,选择与之匹配的储备池,并且在全局最优意义下,训练输出连接权,避免误差累积。实验表明,相对于小波分解局部回声状态网络,新算法可以获得更高的预测精度。3针对时间序列预测过程输入向量选择问题,提出采用序列自相关系数法确定回声状态网络的输入向量(时间序列的嵌入维数和延迟时间),以达到提高预测精度的目的,并从实验角度分析了储备池参数对于预测性能的影响。实验表明,该方法可以确保基于回声状态网络的时间序列预测方法获得更高的预测精度。4.针对隐含大量动态特征和强非线性的时间序列预测问题,提出模糊回声状态网络(Fuzzy Echo State Network,FESN)时间序列预测方法;证明了FESN是经典ESN和TS模型的推广。在此基础上,给出并证明了FESN一致渐进稳定(回声状态属性)的充分条件;实验表明,在不显著增加训练时间的情况下,相对于ESN和TS模型,FESN有效地提高了非线性时间序列预测的精度。5.针对回声状态网络在时间序列预测中的适应性问题,提出一种基于扩展卡尔曼滤波的回声状态网络在线训练算法,采用扩展卡尔曼滤波对储备池的关键参数和输出连接权矩阵联合进行训练,避免了时间序列预测过程中回声状态网络的参数选择问题。实验表明,由于避免了交叉验证以及参数优化等参数选择过程,该算法可以在保持较高预测精度的条件下,有效地解决回声状态网络的参数选择问题。