论文部分内容阅读
随着智能电网与能源互联网的发展建设,电力系统规模不断扩大,电力数据以惊人的速度、多样化结构迅猛增长,这些复杂的数据来源于智能电表、配电自动化、数字保护装置等,以及在智能电网实施过程中产生的相关数据。面对如此庞大、多样化的数据,云计算与大数据处理等技术为电力大数据分析提供了一个全新的技术手段,电力云平台的研究越来越热,但不能满足电力系统高计算性能的需求。本文以电力大数据为研究背景,分析了几种大数据处理技术的优缺点,其中Hadoop是当前研究大数据的热点技术,在大数据批处理等方面效率较高,然而,由于使用MapReduce技术进行数据处理时存在大量的数据传输和读/写延迟,难以满足数据高计算性能方面的需求。Spark是基于内存的集群技术,适合计算密集型的迭代计算,计算速度快。针对电力系统中高计算性能的需求,将内存集群技术引入其中,设计一种电力系统分布式内存计算框架,将智能电子设备、智能电表与相量测量单元采集的数据存储在分布式文件系统中,使用内存计算框架Spark对其进行分析计算,并引入分布式内存文件系统以减少磁盘访问时间。本文分析了潮流计算经典算法和智能算法的特点,从应用的广泛性、稳定性和收敛性考虑,本文使用牛顿-拉夫逊法进行潮流计算。通过研究潮流计算的牛顿-拉夫逊法,提出一种基于弹性分布式数据集(RDD)和有向无环图(DAG)优化的潮流分析方法。该方法通过将潮流计算过程中的数据保存在RDD中,以读取内存的速度读取RDD中的数据,减少数据读/写时间。同时,对潮流计算步骤进行DAG优化,使窄依赖步骤在相同节点进行,并使宽依赖步骤并行执行,能有效减少潮流计算过程中数据传输时间和程序运行时间。最后搭建了Spark On Yarn的实验环境,以Java编程语言实现了基于Mapreduce的牛顿-拉夫逊法潮流计算,以Scala编程语言实现了Spark模式(NBRD法)和单机模式下的潮流计算。以IEEE标准测试数据为基础,构建并模拟大规模数据集,从测试算例规模、潮流计算时间加速比、Spark集群规模三个方面进行多次潮流计算实验。测试结果表明,潮流计算的迭代次数稳定,结果准确,当算例与集群规模较小时,本方法优势并未体现,但随着算例与集群规模的扩大,计算时间减少,加速比增加,并且性能明显优于单机与MapReduce计算模式。