论文部分内容阅读
随着现代社会的快速发展,用户对电能质量和用电可靠性要求大大提高,目前传统电网在输电系统的可靠性、配电测量的灵活度和容量,都已经无法适应新的需求。建设安全、环保、可靠、经济的电力系统已经成为全球电力行业的共同目标。智能电网是基于稳定可靠的高速通信网络上建立,通过先进的传感和测量技术、先进的控制方法、先进的配电决策,实现电网的信息化、自动化和互动化。高级计量架构是智能电网其中一项关键技术,它不但允许电网部门以更直接有效的方式收集电表读数,还能实现用户端电表和公共事业单位系统间的双向通信。为了对用户用电行为进一步作数据挖掘分析研究和制定快速有效的配电策略,以及为未来的分段计价和实时电价提供数据支持等,对用电数据进行收集处理成为迫切需要。
本文在分析了高级计量架构和分布式存储和计算关键技术基础上,结合Hadoop对于海量数据的强大优势、平台功能需求及平台成本方面考虑,提出了基于Hadoop的高级计量架构平台数据处理方法,重点讲述平台对海量数据的收集、存储和处理过程,对其中的高级计量架构平台的架构、Hadoop集群对海量数据处理的功能等进行深入研究,并搭建Hadoop集群对此平台进行实验验证。最后,对比使用传统关系数据库的数据处理方法和使用Hadoop集群的数据处理方法的运行时间,论证了Hadoop可以提高高级计量架构平台海量数据的处理效率,提高平台性能。
本论文的主要创新点是将理论研究模型与实际应用相结合,引入前沿的分布式框架技术Hadoop与高级计量架构平台融合,提出并分析了基于Hadoop的高级计量架构平台海量数据处理方法,并将此方法应用到实例中,部署真实环境得出实验结果验证此方法的优越性。另外,平台采用倒排索引方法对收集的电气数据进行预处理。倒排索引是根据高级计量架构平台存储的电气数据的特点,修改文件检索系统常用的倒排索引方法,以插座号作为索引来查找对应的电能信息。Had00p集群把原数据作预处理为以倒排索引形式保存,降低在线查询时的计算时间。