基于时空注意力的PM2.5深度学习预测建模

• 作 者: 吕祎
• 出 处: 北京工业大学
• 发表日期: 2004年期
• 关键词: PM2.5 时空特征 Attention机制 反卷积 鲁棒性

环保部门在污染物监测时需要掌握某地未来时间段的PM_2.5浓度变化情况,现有的PM_2.5预测方法对数量众多的观测站数据信息提取不足,无法精确给出未来一段时间的变化趋势。现有方法使用大量先验知识,例如以距离代表两地之间的PM_2.5关系。PM_2.5的扩散规律受到地形、气象条件、人类活动等因素影响,每个地点的实际情况又有所不同,先验知识无法穷尽所有可能性。除此之外,现有的PM_2.5预测方法通常基于时间序列,忽视了的观测站之间时空关系,造成数据中包含的特征不足。深度学习以实际数据的模式为基础训练模型,挖掘先验知识已知或未知的特征,其包含的一系列方法可以自动提取特征,适合于解决影响因素众多的PM_2.5预测问题。主要贡献概括为以下四个方面:一针对时间特征的提取,研究了基于循环神经网络的时间序列预测模型LSTM与Bi-GRU。对比发现两者RMSE接近,LSTM相比Bi-GRU参数数量更少计算速度提高了31%,因此选用LSTM作为时间特征提取层。二针对空间特征的提取,在上文时间特征提取层LSTM神经元的基础上,设计了基于时空Attention和ConvLSTM层的特征提取器,搭建了预测模型Att-ConvLSTM。为了增强训练过程中对异常数据的鲁棒性,使用不敏感损失函数代替了预测模型常用的平均绝对误差函数。经过实验发现该模型的性能明显超过只利用时间信息的LSTM、ARIMA等模型。三针对Att-ConvLSTM模型训练速度慢的问题。使用反卷积与时间Attention替代空间Attention与ConvLSTM,提出了训练参数更少的Att-Deconv模型。实验发现:Att-Deconv训练时间仅为前者5%且RMSE没有下降。与去掉Attention机制的同种模型对比后发现:时空Attention机制降低的RMSE并且根据Attention权重发现它关注到了先验知识忽略的特征。四为测试模型在实际环境中的性能,在嵌入式平台树莓派上部署了本文模型并编写了应用程序。通过采集实际数据预测24小时内的PM_2.5变化,结果表明Att-ConvLSTM、Att-Deconv对上午的低浓度段的预测比LSTM更准确;在对密云观测站的预测实验中,Att-Deconv模型的性能明显超过其他模型。