论文部分内容阅读
广东省茂名市电白县水利水电勘测设计室 525400
【摘 要】水利设计由于其工程量巨大，设计的数据量无比繁杂，数据的利用直接影响了水利设计和工程整体的效率，同时也攸关工程质量。本文就数据整合技术的各项性质，探讨了数据整合技术在水利设计中的重要性。
【关键词】数据整合技术；水利设计；重要性
水利工程作为国民经济的支柱性产业，需要大量的信息和技术支持，构建科学稳定数据整合系统对水利设计至关重要。
1.数据整合的概念
数据整合是为了避免在处理信息过程中出现分散和缺漏而产生的系统，其本身是一项科学有效的技术整合战略。
1.1定义
数据整合是在有效数据集束的基础上合并和巩固，形成更多样、更全面的综合性数据建设，将资源内容多方面结合统一，使数据交流共享更为方便，有助于创建出多功能数据库，是加强信息化建设的一种手段。在现代应用中，各种数据库不再缺乏面对具体实例的针对性和指向性，具备更高的实用性。
1.2内容
数据整合的内容包括了系统整合、应用整合、存储整合、数据库整合、主机整合等等，在不同层次和不同角度下都有其涵盖的部分，整体构成稍显混乱，由于范畴较大，整合的方式和手段也五花八门，不同的技术人员所着重的方面也各不一样。
1.3手段
常见的数据整合手段有三种：物理整合、逻辑整合和应用整合。物理整合是通过多台设备或多项信息资源合并整理在同一处，架设一个大容量的数据资源库，这样的形式较为简洁，也便于管理。逻辑整合是应用了数据库系统进行管理，将分散的资源和数据新型逻辑化集中管束，使数据内容更丰富全面，应用起来更为实用。应用整合则是由服务器、存储、数据库等多种方式结合所进行的的数据整理，其实任何数据库的建立都需要多种手段的支持，保证数据内容的丰富性和数据库应用的实用性。
2.水利设计的数据整合方式
水利设计单位常用的数据库系统大多为SQLServer信息系统，按照此系统，数据整合的方式一般为数据库开发应用技术和ETL技术。
2.1数据库开发应用技术
数据库开发应用技术指的是利用数据本身的功能，进行数据的整合处理，如对PL/SQL、DBLINK等功能的运用，进行信息数据的抽取、查询和关联，这种方式具有一定的优势也同时有一定劣势。
优势在于，直接应用数据库系统是对数据进行快速而又简单有效的整合处理，适合于同种数据库之间的数据集成。且系统已由开发人员研发完成，只需要一次性购入就可以永久性使用，投资少。
劣势则在于其扩展性较差。由于数据系统本手都是来自于手工编程创造，需要一定的技术维护持续跟进，而后期的维护成本较高，在需求发生变化需要更改内部内容设置时，还需要经由开发人员修改程序源代码。另一项劣势在于数据整合效率方面，由于数据库都靠自行编写录入，随着企业发展，数据库日益庞大，在面对复杂的数据整合问题上，系统效率难以得到保证，调用数据出现困难。
2.2ETL技术
ETL技术是指按技术程序中的数据抽取（Extract）、转换（Transform）、装载（Load）选项，分别将数据从有的系统数据库中，进行抽取，转换，人后加载到最终的目标数据库，达到系统数据之间具体整合的目的。
这项技术一般需要专业的ETL软件支持，该项数据整合技术在水利设计单位的应用中具有以下优势：资料数据调用效率较高，其本身是经由ETL软件的直接数据抽取、转换再通过加载的形式，直接从数据库调用出所需数据，效率非常高，特别是在数据量较大的情况下，对数据的抽取简单直接，该技术支持对ORACLE9i增量数据抽取。
改进数据质量，ETL软件能够根据各种内部设置条件，以进行源数据和目标数据质量的校验，同时还能进行对库中垃圾数据进行清洗。
ETL软件本手也具备强大管理的功能，其能够直接通过WEB管理界面，对数据抽取策略执行制定时间触发方式，自动对抽取结果进行分析等，省去了较多的人力分析工作，减少了人员工作负担。由于其同时支持各种平台，进行各种不同数据库系统（如ORACLE、 SQLServer等）以及不同版本数据库之间的数据抽取，还能够完成各种非常复杂的数据转换工作。
这种数据整合技术所存在的劣势在于：投资费用较为昂贵，需要同时购买ETL系统和多个数据库的使用权。其实施周期通常较长，并不能立即投放使用。
3.数据整合的具体内容
数据整合的内容按照其工作性质分为四个阶段。
3.1分析阶段
在数据系统建立之前，为了更加全面的理解各种数据格式的含义，获得各种相关文档资源，需要对信息系统原始数据进行分析。
这是数据整理的筹备阶段，该阶段主要包括了解和分析，首先需要了解采集的数据其结构定义和数据表之间的设计联系。确定了这些内容也能找到数据库系统建设的针对性，使系统更为严谨和实用。在水利设计中起到科学性的基础保障。
3.2实施阶段
实施阶段要重点保证信息数据内容的安全性，着重对原始数据进行检查。运用相应的手段如将原始数据的代码表和新系统代码表进行对应关系整理，并统一的重新编码，保证数据信息内容的正确性和合理性，将有效数据记录导人系统。在水利设计中的信息调用方面起到帮助和推进作用。
3.3校验阶段
第三阶段是校验阶段，意义在于杜绝产生不完整甚至错误的信息。数据整合系统在正式运行之前，必须严格建立的数据校验机制，并予以实施，以保证生产数据和整合平台数据的一致性。这一阶段是数据整合的质量保证，也是在水利设计实施之前的具体基础保证。
3.4上线阶段
最后的阶段是将设计好的数据整合流程正式发布，一般系统管理人员可以直接通过监控界面进行任务的监控和跟踪。根据需求进行计划性修改，合理安排数据转换任务，以在规定的时间内完成所有的数据转换和加载任务。
4.数据整合在水利设计中存在的整体重要性
4.1优越性中的重要性
水利设计项目中，通过对数据整理应用的技术化和信息化，使项目内数据更为简单便捷，在时代的脚步中有效推动了水利设计站在时代前沿。在资源信息交流的基础上，更好的实现水利设计的整体性收益，增强技术能力所带来的主动性，同时也提高了水利设计的科学性，推动了水利设计的高速有效发展。
严谨的设计要求也为设计工作人员树立了严格的标准，提高管理人员对现有整合制度的管理和完善，进一步深入开发数据整合技术，加强对信息资源的利用，提供更为全面的数据信息服务，实现水利工程项目的长远高效发展，保障了水利设计工程中信息建设的完善性和安全性，加快了设计效率。
4.2局限性反映的重要性
现实中存在较多影响因素，使数据整合的实用效果与理论中不符，现实因素存在的阻碍主要有三个方面。
第一个方面是数据整合技术本身仍存在许多具体应用中的缺陷和漏洞，需要工作人员始终跟进，其项目内容很难根据设计人员的需求发生改变，水利设计项目中尤其展现出了其自动调节能力较差，改造力度较小，需要技术人员的继续改造和升级。
第二个方面是大多数的数据整合系统无法保证长时间的有效工作，并能保证工作效率与质量。这一性质无法在水利设计的的应用中完美契合，在面对工程量巨大、持续时间极长的水利工作时显得力不从心。
第三个方面是对于某些数据整合系统，其层次结构较为单一，信息缺乏必要的规范性和全面性，无法实现正常的交流与共享。一旦水利设计选用了这种信息增和系统，将在信息采集、样本修正等方面遇到严重阻碍，导致工程难度增加。
结语
水利设计随着技术水平的不断提高，其基本要求也在不断提升，在数据整合技术方面要具体研究其优越性与存在的缺陷，从中认识到信息数据对水利设计存在的重要意义，从而作为技术进步的基础，进一步地促进我国水利设计水平的提升与进步。
【摘 要】水利设计由于其工程量巨大，设计的数据量无比繁杂，数据的利用直接影响了水利设计和工程整体的效率，同时也攸关工程质量。本文就数据整合技术的各项性质，探讨了数据整合技术在水利设计中的重要性。
【关键词】数据整合技术；水利设计；重要性
水利工程作为国民经济的支柱性产业，需要大量的信息和技术支持，构建科学稳定数据整合系统对水利设计至关重要。
1.数据整合的概念
数据整合是为了避免在处理信息过程中出现分散和缺漏而产生的系统，其本身是一项科学有效的技术整合战略。
1.1定义
数据整合是在有效数据集束的基础上合并和巩固，形成更多样、更全面的综合性数据建设，将资源内容多方面结合统一，使数据交流共享更为方便，有助于创建出多功能数据库，是加强信息化建设的一种手段。在现代应用中，各种数据库不再缺乏面对具体实例的针对性和指向性，具备更高的实用性。
1.2内容
数据整合的内容包括了系统整合、应用整合、存储整合、数据库整合、主机整合等等，在不同层次和不同角度下都有其涵盖的部分，整体构成稍显混乱，由于范畴较大，整合的方式和手段也五花八门，不同的技术人员所着重的方面也各不一样。
1.3手段
常见的数据整合手段有三种：物理整合、逻辑整合和应用整合。物理整合是通过多台设备或多项信息资源合并整理在同一处，架设一个大容量的数据资源库，这样的形式较为简洁，也便于管理。逻辑整合是应用了数据库系统进行管理，将分散的资源和数据新型逻辑化集中管束，使数据内容更丰富全面，应用起来更为实用。应用整合则是由服务器、存储、数据库等多种方式结合所进行的的数据整理，其实任何数据库的建立都需要多种手段的支持，保证数据内容的丰富性和数据库应用的实用性。
2.水利设计的数据整合方式
水利设计单位常用的数据库系统大多为SQLServer信息系统，按照此系统，数据整合的方式一般为数据库开发应用技术和ETL技术。
2.1数据库开发应用技术
数据库开发应用技术指的是利用数据本身的功能，进行数据的整合处理，如对PL/SQL、DBLINK等功能的运用，进行信息数据的抽取、查询和关联，这种方式具有一定的优势也同时有一定劣势。
优势在于，直接应用数据库系统是对数据进行快速而又简单有效的整合处理，适合于同种数据库之间的数据集成。且系统已由开发人员研发完成，只需要一次性购入就可以永久性使用，投资少。
劣势则在于其扩展性较差。由于数据系统本手都是来自于手工编程创造，需要一定的技术维护持续跟进，而后期的维护成本较高，在需求发生变化需要更改内部内容设置时，还需要经由开发人员修改程序源代码。另一项劣势在于数据整合效率方面，由于数据库都靠自行编写录入，随着企业发展，数据库日益庞大，在面对复杂的数据整合问题上，系统效率难以得到保证，调用数据出现困难。
2.2ETL技术
ETL技术是指按技术程序中的数据抽取（Extract）、转换（Transform）、装载（Load）选项，分别将数据从有的系统数据库中，进行抽取，转换，人后加载到最终的目标数据库，达到系统数据之间具体整合的目的。
这项技术一般需要专业的ETL软件支持，该项数据整合技术在水利设计单位的应用中具有以下优势：资料数据调用效率较高，其本身是经由ETL软件的直接数据抽取、转换再通过加载的形式，直接从数据库调用出所需数据，效率非常高，特别是在数据量较大的情况下，对数据的抽取简单直接，该技术支持对ORACLE9i增量数据抽取。
改进数据质量，ETL软件能够根据各种内部设置条件，以进行源数据和目标数据质量的校验，同时还能进行对库中垃圾数据进行清洗。
ETL软件本手也具备强大管理的功能，其能够直接通过WEB管理界面，对数据抽取策略执行制定时间触发方式，自动对抽取结果进行分析等，省去了较多的人力分析工作，减少了人员工作负担。由于其同时支持各种平台，进行各种不同数据库系统（如ORACLE、 SQLServer等）以及不同版本数据库之间的数据抽取，还能够完成各种非常复杂的数据转换工作。
这种数据整合技术所存在的劣势在于：投资费用较为昂贵，需要同时购买ETL系统和多个数据库的使用权。其实施周期通常较长，并不能立即投放使用。
3.数据整合的具体内容
数据整合的内容按照其工作性质分为四个阶段。
3.1分析阶段
在数据系统建立之前，为了更加全面的理解各种数据格式的含义，获得各种相关文档资源，需要对信息系统原始数据进行分析。
这是数据整理的筹备阶段，该阶段主要包括了解和分析，首先需要了解采集的数据其结构定义和数据表之间的设计联系。确定了这些内容也能找到数据库系统建设的针对性，使系统更为严谨和实用。在水利设计中起到科学性的基础保障。
3.2实施阶段
实施阶段要重点保证信息数据内容的安全性，着重对原始数据进行检查。运用相应的手段如将原始数据的代码表和新系统代码表进行对应关系整理，并统一的重新编码，保证数据信息内容的正确性和合理性，将有效数据记录导人系统。在水利设计中的信息调用方面起到帮助和推进作用。
3.3校验阶段
第三阶段是校验阶段，意义在于杜绝产生不完整甚至错误的信息。数据整合系统在正式运行之前，必须严格建立的数据校验机制，并予以实施，以保证生产数据和整合平台数据的一致性。这一阶段是数据整合的质量保证，也是在水利设计实施之前的具体基础保证。
3.4上线阶段
最后的阶段是将设计好的数据整合流程正式发布，一般系统管理人员可以直接通过监控界面进行任务的监控和跟踪。根据需求进行计划性修改，合理安排数据转换任务，以在规定的时间内完成所有的数据转换和加载任务。
4.数据整合在水利设计中存在的整体重要性
4.1优越性中的重要性
水利设计项目中，通过对数据整理应用的技术化和信息化，使项目内数据更为简单便捷，在时代的脚步中有效推动了水利设计站在时代前沿。在资源信息交流的基础上，更好的实现水利设计的整体性收益，增强技术能力所带来的主动性，同时也提高了水利设计的科学性，推动了水利设计的高速有效发展。
严谨的设计要求也为设计工作人员树立了严格的标准，提高管理人员对现有整合制度的管理和完善，进一步深入开发数据整合技术，加强对信息资源的利用，提供更为全面的数据信息服务，实现水利工程项目的长远高效发展，保障了水利设计工程中信息建设的完善性和安全性，加快了设计效率。
4.2局限性反映的重要性
现实中存在较多影响因素，使数据整合的实用效果与理论中不符，现实因素存在的阻碍主要有三个方面。
第一个方面是数据整合技术本身仍存在许多具体应用中的缺陷和漏洞，需要工作人员始终跟进，其项目内容很难根据设计人员的需求发生改变，水利设计项目中尤其展现出了其自动调节能力较差，改造力度较小，需要技术人员的继续改造和升级。
第二个方面是大多数的数据整合系统无法保证长时间的有效工作，并能保证工作效率与质量。这一性质无法在水利设计的的应用中完美契合，在面对工程量巨大、持续时间极长的水利工作时显得力不从心。
第三个方面是对于某些数据整合系统，其层次结构较为单一，信息缺乏必要的规范性和全面性，无法实现正常的交流与共享。一旦水利设计选用了这种信息增和系统，将在信息采集、样本修正等方面遇到严重阻碍，导致工程难度增加。
结语
水利设计随着技术水平的不断提高，其基本要求也在不断提升，在数据整合技术方面要具体研究其优越性与存在的缺陷，从中认识到信息数据对水利设计存在的重要意义，从而作为技术进步的基础，进一步地促进我国水利设计水平的提升与进步。