论文部分内容阅读
时间序列预测在科学和社会的各个领域起着重要的作用。然而，随着信息时代的到来，各类时间序列数据层出不穷，采样频率也越来越高。如此巨大的数据量中，非平稳和多变量性质的存在加剧了预测的挑战性，许多传统的预测模型已经无法胜任现在的预测任务。现有的基于循环神经网络的深度学习模型，尤其是基于长短期记忆(LSTM)和门循环单元(GRU)的循环神经网络已获得了令人印象深刻的预测性能。然而，尽管LSTM结构上更为复杂，却并不总是在预测性能上占优。同时，最近提出的基于最小门单元(MGU)的神经网络具有更简单的结构并能够显著提升训练效率。更为关键的是，实践中发现(1)该门单元可以高效运用于非平稳多变量时间序列(NSMTS)的预测，并达到与基于LSTM和GRU的神经网络相当的预测性能；(2)使用这三类门单元的循环神经网络(RNNs)，没有任何一类总能保证性能上的优势。基于上述结论并通过对三种门单元的研究，为了提升NSMTS预测性能，本文基于循环神经网络设计了两种新型预测模型，并取得了以下研究成果：
1. 首次尝试将基于MGU的神经网络应用于NSMTS预测中，并在实验用数据集上验证了其可获得与基于LSTM以及GRU的神经网络可比的预测性能。
2. 提出了一种基于线性混合门单元(MIXGU)的循环神经网络预测模型。利用MIXGU动态调整GRU和MGU的混合权重，以便获得更优的隐状态，从而在训练期间为网络中的每个MIXGU获得更优的混合结构。在五个真实数据集上的实验验证了，与基于单一门单元的神经网络相比，混合两类门单元的MIXGU神经网络具有更优的预测性能。
3. 提出了一种带有随机连接门单元的选择性循环神经网络(SRCGUs)的预测模型。首先建立选择性循环神经网络，以同时训练基于全连接LSTM，GRU和MGU的三个循环神经网络，并通过设计的选择模块输出预测的最佳结果。但这样简单的添加选择模块会导致模型总体参数量的增加，影响训练效率。针对这一问题，本文进而引入了随机连接的门单元(RCGU)，使用随机连接的LSTM，GRU和MGU替换上述模型中对应的全连接门单元以构建SRCGUs。最后，在五个真实数据集上进行的实验验证了，与分别训练三个循环神经网络相比，使用SRCGUs不仅节约总体的训练时间，而且能够有效提升预测准确性。
1. 首次尝试将基于MGU的神经网络应用于NSMTS预测中，并在实验用数据集上验证了其可获得与基于LSTM以及GRU的神经网络可比的预测性能。
2. 提出了一种基于线性混合门单元(MIXGU)的循环神经网络预测模型。利用MIXGU动态调整GRU和MGU的混合权重，以便获得更优的隐状态，从而在训练期间为网络中的每个MIXGU获得更优的混合结构。在五个真实数据集上的实验验证了，与基于单一门单元的神经网络相比，混合两类门单元的MIXGU神经网络具有更优的预测性能。
3. 提出了一种带有随机连接门单元的选择性循环神经网络(SRCGUs)的预测模型。首先建立选择性循环神经网络，以同时训练基于全连接LSTM，GRU和MGU的三个循环神经网络，并通过设计的选择模块输出预测的最佳结果。但这样简单的添加选择模块会导致模型总体参数量的增加，影响训练效率。针对这一问题，本文进而引入了随机连接的门单元(RCGU)，使用随机连接的LSTM，GRU和MGU替换上述模型中对应的全连接门单元以构建SRCGUs。最后，在五个真实数据集上进行的实验验证了，与分别训练三个循环神经网络相比，使用SRCGUs不仅节约总体的训练时间，而且能够有效提升预测准确性。