论文部分内容阅读
摘 要：近些年来，随着社会发展对电力需求的不断增加，我国电网工程的建设规模也在不断扩大，电力系统数据量也在持续增长。在这一背景下，传统的智能配电网运行数据监控平台已经无法满足当前电力用户的现实需求，且无法对数据进行更加高效的整合。基于此，本文章主要针对大数据背景下智能配电网运行监控平台关键技术的应用展开了深入的分析与探究。
关键词：大数据;智能配电网;监控平台;关键技术;应用分析
在大数据时代背景下，多数电力企业都在使用网络系统来存储自身的运行管理信息，因此在日常工作中就需要对大量数据实施综合的处理分析。在这种情况下，电力企业就需要采用各种先进的技术，结合自身情况来构建一个完善的监控管理平台，充分发挥监控管理平台在智能电网运行过程中的中心枢纽作用，以便工作人员对各项数据实施存储、处理与分析工作进而确保智能配电网的高效、稳定与安全运行。
1 关系数据与分布式存储同步技术
从本质上来讲，关系数据库与分布式存储同步技术，二者之间的数据是可以相互调取的，可以对数据进行更加准确与高效的分析处理。在具体实践中，工作人员还可以对关系数据库中的数据实施分布存储，并将数据调取到关系数据库当中。
在一般情况下，大数据主要是凭借分布式存储技术来完成数据存储任务的。其中，多数数据均来源于企业的数据仓库与关系数据库。在数据传输的过程中，工作人员要注意数据在分布式存储与关系型数据库之间的无缝传输，并且要高度重视数据传输的速度与质量，尽可能不影响到正常的工作。与此同时，由于传统的数据传输工具只可以做到同存储数据机制间的同步，无法实现两种不同存储机制间数据的同步，例如关系数据库与分布式存储，因此就十分有必要发挥与应用关系数据库与分布式存储同步技术的作用与优势。
2 文件采集与处理技术
在当前背景下，数据平台中的数据来源途径较为多样化，一方面，数据来源于数据仓库、数据中心;另一方面，数据来源于旧平台中没有经过处理的各类文件当中，这些数据、文件的结构均较为混乱，且有价值的信息较少。针对于这种情况，就要利用大数据监控平台中分布式存储这种方法来进行存储，将数据肢解成办结构化与结构化[1]，以此来将数据更加完整的存储到大数据平台当中，以此来大大提升数据存储的经济性。
在智能配电网运行监控平台当中，数据处理技术主要是指对存储系统中相关数据的处理，具体涵盖了数据分类与分表等。其中，数据分库处理就是指根据系统中已经设定好的处理规定，对有价值的数据完整的传输与存储到各个不同的数据库当中。这不仅可以实现数据的分门别类存储，同时也能够充分利用各类数据。数据分区处理作为一种有效的数据处理技术，具体来讲就是把通表数据有目的性的赋予到相关文件当中，以此来减轻大型表的压力，明显改善数据访问功能，对系统运行实施优化。数据分表处理技术就是依据系统已设定好的规则来有序构建各类数据表，有效缓解单表压力。除此之外，电力企业也可以建造纵列式与并行式的数据库，以此来大大提升数据的加载速率与查询效率。
3 数据分析关键技术
在对大数据进行分析时，首先要将信号转化成数据，再对数据展开相应的处理与分析，形成有效的信息。其次，工作人员要对上述信息进行总结，并从中获取相应的知识，以便为电力企业的日常管理工作与运行决策提供有价值的借鉴与参考。在大数据背景下，数据分析关键技术多运用于大型信息數据库当中，可以帮助工作人员从庞大的信息数据中挖掘出隐藏的规律与形态，进而对电力企业的日常运行状况进行客观的总结，并协助管理人员制定出更加具有针对性的决策，促进电力企业的健康发展。
4 分布式文件系统
分布式文件系统主要是指文件系统中的物理资源在服务器模式下，是可以不直接连接在本地节点上的，而是可以连接在更加先进的互联网网络与节点上。在实际应用中，分布式文件系统可以将相关文件数据存储在分散存储介质上，这不仅可以在一定程度上降低存储成本，为文件访问提供统一的访问接口，同时也能够大大提升其容错性[2]。目前，随着分布式文件系统的广泛普及与应用，不仅有效解决数量庞大数据的存储难这一难题，同时也可以凭借其自身所具备的全分布式架构、在线扩容减容、数据块粒度切分以及复制备份等多项关键技术，稳定支撑规模在PB级以上的数据在线存储，以此来进一步增强大数据存储的安全性、经济性，实现存储的可任意扩容性。
5 平台架构内容
在业务系统大数据应用的管理、开发与处理等各个环节当中，大数据监控平台可以为其提供基础的框架，框架内容主要涵盖了数据整合、数据存储、数据计算、数据分析、配置管理以及安全管理等若多个方面的，并且也能够为业务应用提供多种形式的服务支撑。
数据整合：工作人员可以采用调取数据、实时采集数据，对数据库进行实时复制等一系列技术来从外部数据源中系统的采集与抽取结构化、半结构化以及非结构化数据，同时也可以对数据进行实时与非实时的采集。
数据存储：主要是负责大数据的存储工作。简单来讲就是根据全数据类型与多样化计算的要求，以快速查询、读取以及海量规模存储为特征，将外部数据源中的数据完整的存储起来，以此来为数据处理层的高级应用提供强大的数据支撑。
数据计算：不仅可以为各类大数据提供多种计算功能，例如流计算、查询计算与内存计算等，同时也能够实现分布式存储数据与文件数据的计算与查询。其中，流计算技术可以为工作人员提供实时分析处理的计算能力，进而有效实现实时预警与决策等。
数据分析：通过对各类数据的分析、加工与处理，可以将其转换为有效的信息，从中挖开出新的业务价值，并为电力企业日后的业务指明方向，提供科学的决策依据。
平台服务：主要是指对底层数据分析工具与组件等工作实施封装后，充分发挥其在业务系统大数据应用期间的支撑作用，并提供相应的数据存储、数据计算、数据分析与数据处理服务。
安全管理：在大数据环境下，安全管理就是指在数据采集、存储与应用等多个环节中，需要进行身份验证、授权以及输入验证答案等一系列安全问题。目前，由于数据包含着大量的信息，因此在对数据实施分析与处理时，就极易可能会涉及到一些与企业机密相关的数据，为此，电力企业要想避免发生数据泄露与失窃等情况的发生，就要合理设置访问权限等多种安全防护程度，以此来确保大数据存储与处理的安全性[3]。
管理配置：主要是用来监控大数据处理期间的各项性能指标，例如资源利用率、接口使用情况与整体运行状态等，并可以及时排除关键系统险情，快速拓展应用功能，对大数据中的存储资料与计算资源进行合理的配置与高效的管理。
结束语：
总而言之，电力企业要想在大数据背景下实现更好更快的发展，就要高度重视电力系统中文件数据的处理工作，从根本上保障数据存储与处理的高效性与准确性。与此同时，电力企业也要积极构建系统的电力数据监控平台，熟练掌握其中的关键技术，以此来大大提升电力企业的数据存储能力与分析能力，帮助企业更好的优化系统结构，为企业管理决策提供更加有价值的参考与借鉴，进而进一步提升电力企业的经济效益。
参考文献：
[1]王兴念，李宏伟，施振华，等.基于大数据的智能配电网运行监控平台关键技术研究与应用[J].电工技术，2017，（2）：9-12.
[2]雷汉樟.解析大数据的智能配电网运行监控平台关键技术[J].通讯世界，2018，（8）：116-117.
（国网重庆市电力公司璧山供电分公司，重庆 万州 404100）
关键词：大数据;智能配电网;监控平台;关键技术;应用分析
在大数据时代背景下，多数电力企业都在使用网络系统来存储自身的运行管理信息，因此在日常工作中就需要对大量数据实施综合的处理分析。在这种情况下，电力企业就需要采用各种先进的技术，结合自身情况来构建一个完善的监控管理平台，充分发挥监控管理平台在智能电网运行过程中的中心枢纽作用，以便工作人员对各项数据实施存储、处理与分析工作进而确保智能配电网的高效、稳定与安全运行。
1 关系数据与分布式存储同步技术
从本质上来讲，关系数据库与分布式存储同步技术，二者之间的数据是可以相互调取的，可以对数据进行更加准确与高效的分析处理。在具体实践中，工作人员还可以对关系数据库中的数据实施分布存储，并将数据调取到关系数据库当中。
在一般情况下，大数据主要是凭借分布式存储技术来完成数据存储任务的。其中，多数数据均来源于企业的数据仓库与关系数据库。在数据传输的过程中，工作人员要注意数据在分布式存储与关系型数据库之间的无缝传输，并且要高度重视数据传输的速度与质量，尽可能不影响到正常的工作。与此同时，由于传统的数据传输工具只可以做到同存储数据机制间的同步，无法实现两种不同存储机制间数据的同步，例如关系数据库与分布式存储，因此就十分有必要发挥与应用关系数据库与分布式存储同步技术的作用与优势。
2 文件采集与处理技术
在当前背景下，数据平台中的数据来源途径较为多样化，一方面，数据来源于数据仓库、数据中心;另一方面，数据来源于旧平台中没有经过处理的各类文件当中，这些数据、文件的结构均较为混乱，且有价值的信息较少。针对于这种情况，就要利用大数据监控平台中分布式存储这种方法来进行存储，将数据肢解成办结构化与结构化[1]，以此来将数据更加完整的存储到大数据平台当中，以此来大大提升数据存储的经济性。
在智能配电网运行监控平台当中，数据处理技术主要是指对存储系统中相关数据的处理，具体涵盖了数据分类与分表等。其中，数据分库处理就是指根据系统中已经设定好的处理规定，对有价值的数据完整的传输与存储到各个不同的数据库当中。这不仅可以实现数据的分门别类存储，同时也能够充分利用各类数据。数据分区处理作为一种有效的数据处理技术，具体来讲就是把通表数据有目的性的赋予到相关文件当中，以此来减轻大型表的压力，明显改善数据访问功能，对系统运行实施优化。数据分表处理技术就是依据系统已设定好的规则来有序构建各类数据表，有效缓解单表压力。除此之外，电力企业也可以建造纵列式与并行式的数据库，以此来大大提升数据的加载速率与查询效率。
3 数据分析关键技术
在对大数据进行分析时，首先要将信号转化成数据，再对数据展开相应的处理与分析，形成有效的信息。其次，工作人员要对上述信息进行总结，并从中获取相应的知识，以便为电力企业的日常管理工作与运行决策提供有价值的借鉴与参考。在大数据背景下，数据分析关键技术多运用于大型信息數据库当中，可以帮助工作人员从庞大的信息数据中挖掘出隐藏的规律与形态，进而对电力企业的日常运行状况进行客观的总结，并协助管理人员制定出更加具有针对性的决策，促进电力企业的健康发展。
4 分布式文件系统
分布式文件系统主要是指文件系统中的物理资源在服务器模式下，是可以不直接连接在本地节点上的，而是可以连接在更加先进的互联网网络与节点上。在实际应用中，分布式文件系统可以将相关文件数据存储在分散存储介质上，这不仅可以在一定程度上降低存储成本，为文件访问提供统一的访问接口，同时也能够大大提升其容错性[2]。目前，随着分布式文件系统的广泛普及与应用，不仅有效解决数量庞大数据的存储难这一难题，同时也可以凭借其自身所具备的全分布式架构、在线扩容减容、数据块粒度切分以及复制备份等多项关键技术，稳定支撑规模在PB级以上的数据在线存储，以此来进一步增强大数据存储的安全性、经济性，实现存储的可任意扩容性。
5 平台架构内容
在业务系统大数据应用的管理、开发与处理等各个环节当中，大数据监控平台可以为其提供基础的框架，框架内容主要涵盖了数据整合、数据存储、数据计算、数据分析、配置管理以及安全管理等若多个方面的，并且也能够为业务应用提供多种形式的服务支撑。
数据整合：工作人员可以采用调取数据、实时采集数据，对数据库进行实时复制等一系列技术来从外部数据源中系统的采集与抽取结构化、半结构化以及非结构化数据，同时也可以对数据进行实时与非实时的采集。
数据存储：主要是负责大数据的存储工作。简单来讲就是根据全数据类型与多样化计算的要求，以快速查询、读取以及海量规模存储为特征，将外部数据源中的数据完整的存储起来，以此来为数据处理层的高级应用提供强大的数据支撑。
数据计算：不仅可以为各类大数据提供多种计算功能，例如流计算、查询计算与内存计算等，同时也能够实现分布式存储数据与文件数据的计算与查询。其中，流计算技术可以为工作人员提供实时分析处理的计算能力，进而有效实现实时预警与决策等。
数据分析：通过对各类数据的分析、加工与处理，可以将其转换为有效的信息，从中挖开出新的业务价值，并为电力企业日后的业务指明方向，提供科学的决策依据。
平台服务：主要是指对底层数据分析工具与组件等工作实施封装后，充分发挥其在业务系统大数据应用期间的支撑作用，并提供相应的数据存储、数据计算、数据分析与数据处理服务。
安全管理：在大数据环境下，安全管理就是指在数据采集、存储与应用等多个环节中，需要进行身份验证、授权以及输入验证答案等一系列安全问题。目前，由于数据包含着大量的信息，因此在对数据实施分析与处理时，就极易可能会涉及到一些与企业机密相关的数据，为此，电力企业要想避免发生数据泄露与失窃等情况的发生，就要合理设置访问权限等多种安全防护程度，以此来确保大数据存储与处理的安全性[3]。
管理配置：主要是用来监控大数据处理期间的各项性能指标，例如资源利用率、接口使用情况与整体运行状态等，并可以及时排除关键系统险情，快速拓展应用功能，对大数据中的存储资料与计算资源进行合理的配置与高效的管理。
结束语：
总而言之，电力企业要想在大数据背景下实现更好更快的发展，就要高度重视电力系统中文件数据的处理工作，从根本上保障数据存储与处理的高效性与准确性。与此同时，电力企业也要积极构建系统的电力数据监控平台，熟练掌握其中的关键技术，以此来大大提升电力企业的数据存储能力与分析能力，帮助企业更好的优化系统结构，为企业管理决策提供更加有价值的参考与借鉴，进而进一步提升电力企业的经济效益。
参考文献：
[1]王兴念，李宏伟，施振华，等.基于大数据的智能配电网运行监控平台关键技术研究与应用[J].电工技术，2017，（2）：9-12.
[2]雷汉樟.解析大数据的智能配电网运行监控平台关键技术[J].通讯世界，2018，（8）：116-117.
（国网重庆市电力公司璧山供电分公司，重庆 万州 404100）