论文部分内容阅读
[摘要]本文主要研究农业决策支持系统中在线数据分析功能的设计与实现。其中,本文依据国内外农业决策支持系统的特点,严格遵循软件工程的开发流程和管理规范,提出符合现状的实际解决方案。本文介绍了项目的目标和具体实现的关键技术,其中重点介绍了实现农业决策支持系统中在线数据分析功能的设计与实现。
[关键词]数据仓库;在线数据分析;集群;RAC;Oracle
引言
随着信息技术的发展和企业信息化的不断推进,许多农业单位建立了自己的农业信息系统。本文主要研究农业决策支持系统中在线数据分析功能的设计与实现。依据国内外农业决策支持系统的特点,提出符合现状的实际解决方案,严格遵循软件工程的开发流程和管理规范。
1.农业决策支持系统总体介绍及主要研究任务
本文主要研究农业决策支持系统中在线数据分析功能的设计与实现。本文介绍了项目的目标和具体实现的关键技术。重点介绍了实现农业决策支持系统中在线数据分析功能的设计与实现。
1.1系统目标
经过系统相应的需求分析,可以明确本系统的设计和开发的目标为:①提高农业单位的办公效率;②推翻和借鉴过去各个单位系统的结构及功能的基础上,开发可以实现更多功能需求的农业决策支持系统,尤其是在线数据分析功能;③农业信息资源是一个农业决策支持系统的最宝贵的资源,对于过去系统中保存的数据,要进行保留和有效利用。为了实现目标,可以通过以下几个问题的解决来满足需求。
1.2系统目标需要解决的主要问题
1)系统所引用的数据资源的征集问题。2)系统与用户交互时用户响应时间。3)在线数据分析的结果展现。4)数据仓库的设计。5)数据迁移。6)系统构架(C/S与B/S)。
2.农业决策支持系统设计
2.1总体方案描述
作为一个综合决策支持系统。同时根据目前互联网技术的发展,将农业信息网上的有关农业生产信息和经济信息引入农业信息在线数据分析系统中,也使整个农业信息在线数据分析系统与INTERNET相联系。
2.2系统物理架构
农业信息在线数据分析系统服务器通过交换机,与本地网业务量分析系统服务器相连接,渠道支撑系统服务器等提供客户信息的相关系统同样通过路由器、交换机等网络设备与之相连,本地网业务量分析系统服务器通过搭建的VPN网络,为各业务部门提供连接。
2.3系统软件架构
各单位农业数据通过话单的查重、查错、查交叉等操作,并且在数据库中建立与客户信息的关联,将本地网数据结合客户信息进行存放。同时,通过系统管理模块对农业信息在线数据分析系统进行管理。
3.农业决策支持系统的实现
3.1搭建OracleRAC服务器环境
将数据库文件存储在由集群中两个节点共享的磁盘上。将共享磁盘挂接到集群的两个节点上,并且这两个节点必须能够读取和写入这些共享磁盘。出于性能和可用性原因,使用两个共享磁盘来存储数据库文件。
3.2使用OracleWarehouseBuilder构建数据仓库
数据仓库的构建过程是复杂的,下面对使用OWB构建数据仓库的方法和需要注意的问题进行深入的探讨和研究。
3.2.1数据仓库维度设计。在数据仓库的整个设计过程中,始终围绕的概念是维度。维度建模用于数据仓库数据库的设计中,其目的是组织数据以提高在分析和汇总大量数据的查询的效率。1)使用维度建模。维度建模针对零散的查询分析进程创建个别的模型。每个模型捕获事实数据表中的事实,以及那些事实在链接到事实数据表的维度表中的特性。2)数据仓库的设计过程。与关系数据库不同,数据仓库更偏向于工程,根据数据仓库的工作过程分为:数据的抽取、转换、存储和管理三个方面。
3.2.2定义数据表和映射。用OWB来创建数据仓库的元数据了。下面以农作物费用支出与收入分析为例介绍一下业务量分析系统数据仓库元数据的创建过程。它包括定义源以及目标模块和创建表、维和立方。
3.2.3创建映射。映射完成的主要工作是将原始数据转换后加载到目标数据仓库中。要注意的是,在定义完表、维和映射之后。一定要在主界面中对其代码进行生成,要注意验证和生成的结果都应该是成功。在生成之后要对项目进行提交,以保存更改。
3.2.4完成ETL过程。在定义完了MAP之后,只是完成了元数据的定义,并将其存放在Oracle数据库中了,至于表和映射包的真正建立以及映射程序包的真正执行还需要通过运行部署管理器、部署表和映射以及定义进程流三步。
4.实现过程中的疑难问题
4.1系统与用户交互时用户响应时间
*维度与粒度的设计,采用事实表跟响应实际的维表相结合,并通过维表形成分层;*分析用户的预期行为,进行预处理,把事实表分成预处理事实表和当前事实表*硬件方面采用服务器机群策略,并在服务策略上应用负载均衡技术;
4.2系统所引用的数据资源的征集问题
*提供与原来系统的数据接口;*给各相关农业单位提供新的自动化办公平台;*提取、清洗数据组成数据仓库;*利用OLAP引擎建立相应的分析的OLAP立方体;
4.3在线数据分析的结果展现
使用前端开发工具,在Web上访问OLAP立方体中包含的对象和集合;终端用户可以改变他们正在观看的图的类型的功能实现问题。需要以一种合理的方式显示数据。数据表示常常是为高级管理人员进行查看而创建的。
结束语
农业信息技术的深入发展,传统的农业信息系统难以满足企业对日益增长的海量数据分析处理的要求,于是决策支持系统便应运而生了,其中的在线数据分析尤为重要,而传统系统大部分是由模型驱动的,系统开发难度较大,影响了其大量开发与广泛应用。本文对系统涉及的数据仓库、OLAP、OracleRAC技术进行了介绍,并给出优化的较为合理的软硬件组合。本文根据农业决策支持系统实际需求情况,结合国内外最新研究动态,提出了以数据仓库(DW)、数据挖掘(DM)、OLAP等技术来构建农业决策支持系统的在线数据分析。应用这些技术设计开发决策支持系统的在线数据分析功能。
参考文献
[1]THOMASKYTE.EXPERTONE-ON-ONEORACLE[M].袁勤勇等译.北京:机械工业出版社,2006:356-456.
[2]盖国强,冯春培.ORACLE数据库性能优化[M].北京:人民邮电出版社,2005:45-85,153-169.
作者简介
苏雅丽女、1980年、蒙族、赤峰巴林左旗、讲师.
[关键词]数据仓库;在线数据分析;集群;RAC;Oracle
引言
随着信息技术的发展和企业信息化的不断推进,许多农业单位建立了自己的农业信息系统。本文主要研究农业决策支持系统中在线数据分析功能的设计与实现。依据国内外农业决策支持系统的特点,提出符合现状的实际解决方案,严格遵循软件工程的开发流程和管理规范。
1.农业决策支持系统总体介绍及主要研究任务
本文主要研究农业决策支持系统中在线数据分析功能的设计与实现。本文介绍了项目的目标和具体实现的关键技术。重点介绍了实现农业决策支持系统中在线数据分析功能的设计与实现。
1.1系统目标
经过系统相应的需求分析,可以明确本系统的设计和开发的目标为:①提高农业单位的办公效率;②推翻和借鉴过去各个单位系统的结构及功能的基础上,开发可以实现更多功能需求的农业决策支持系统,尤其是在线数据分析功能;③农业信息资源是一个农业决策支持系统的最宝贵的资源,对于过去系统中保存的数据,要进行保留和有效利用。为了实现目标,可以通过以下几个问题的解决来满足需求。
1.2系统目标需要解决的主要问题
1)系统所引用的数据资源的征集问题。2)系统与用户交互时用户响应时间。3)在线数据分析的结果展现。4)数据仓库的设计。5)数据迁移。6)系统构架(C/S与B/S)。
2.农业决策支持系统设计
2.1总体方案描述
作为一个综合决策支持系统。同时根据目前互联网技术的发展,将农业信息网上的有关农业生产信息和经济信息引入农业信息在线数据分析系统中,也使整个农业信息在线数据分析系统与INTERNET相联系。
2.2系统物理架构
农业信息在线数据分析系统服务器通过交换机,与本地网业务量分析系统服务器相连接,渠道支撑系统服务器等提供客户信息的相关系统同样通过路由器、交换机等网络设备与之相连,本地网业务量分析系统服务器通过搭建的VPN网络,为各业务部门提供连接。
2.3系统软件架构
各单位农业数据通过话单的查重、查错、查交叉等操作,并且在数据库中建立与客户信息的关联,将本地网数据结合客户信息进行存放。同时,通过系统管理模块对农业信息在线数据分析系统进行管理。
3.农业决策支持系统的实现
3.1搭建OracleRAC服务器环境
将数据库文件存储在由集群中两个节点共享的磁盘上。将共享磁盘挂接到集群的两个节点上,并且这两个节点必须能够读取和写入这些共享磁盘。出于性能和可用性原因,使用两个共享磁盘来存储数据库文件。
3.2使用OracleWarehouseBuilder构建数据仓库
数据仓库的构建过程是复杂的,下面对使用OWB构建数据仓库的方法和需要注意的问题进行深入的探讨和研究。
3.2.1数据仓库维度设计。在数据仓库的整个设计过程中,始终围绕的概念是维度。维度建模用于数据仓库数据库的设计中,其目的是组织数据以提高在分析和汇总大量数据的查询的效率。1)使用维度建模。维度建模针对零散的查询分析进程创建个别的模型。每个模型捕获事实数据表中的事实,以及那些事实在链接到事实数据表的维度表中的特性。2)数据仓库的设计过程。与关系数据库不同,数据仓库更偏向于工程,根据数据仓库的工作过程分为:数据的抽取、转换、存储和管理三个方面。
3.2.2定义数据表和映射。用OWB来创建数据仓库的元数据了。下面以农作物费用支出与收入分析为例介绍一下业务量分析系统数据仓库元数据的创建过程。它包括定义源以及目标模块和创建表、维和立方。
3.2.3创建映射。映射完成的主要工作是将原始数据转换后加载到目标数据仓库中。要注意的是,在定义完表、维和映射之后。一定要在主界面中对其代码进行生成,要注意验证和生成的结果都应该是成功。在生成之后要对项目进行提交,以保存更改。
3.2.4完成ETL过程。在定义完了MAP之后,只是完成了元数据的定义,并将其存放在Oracle数据库中了,至于表和映射包的真正建立以及映射程序包的真正执行还需要通过运行部署管理器、部署表和映射以及定义进程流三步。
4.实现过程中的疑难问题
4.1系统与用户交互时用户响应时间
*维度与粒度的设计,采用事实表跟响应实际的维表相结合,并通过维表形成分层;*分析用户的预期行为,进行预处理,把事实表分成预处理事实表和当前事实表*硬件方面采用服务器机群策略,并在服务策略上应用负载均衡技术;
4.2系统所引用的数据资源的征集问题
*提供与原来系统的数据接口;*给各相关农业单位提供新的自动化办公平台;*提取、清洗数据组成数据仓库;*利用OLAP引擎建立相应的分析的OLAP立方体;
4.3在线数据分析的结果展现
使用前端开发工具,在Web上访问OLAP立方体中包含的对象和集合;终端用户可以改变他们正在观看的图的类型的功能实现问题。需要以一种合理的方式显示数据。数据表示常常是为高级管理人员进行查看而创建的。
结束语
农业信息技术的深入发展,传统的农业信息系统难以满足企业对日益增长的海量数据分析处理的要求,于是决策支持系统便应运而生了,其中的在线数据分析尤为重要,而传统系统大部分是由模型驱动的,系统开发难度较大,影响了其大量开发与广泛应用。本文对系统涉及的数据仓库、OLAP、OracleRAC技术进行了介绍,并给出优化的较为合理的软硬件组合。本文根据农业决策支持系统实际需求情况,结合国内外最新研究动态,提出了以数据仓库(DW)、数据挖掘(DM)、OLAP等技术来构建农业决策支持系统的在线数据分析。应用这些技术设计开发决策支持系统的在线数据分析功能。
参考文献
[1]THOMASKYTE.EXPERTONE-ON-ONEORACLE[M].袁勤勇等译.北京:机械工业出版社,2006:356-456.
[2]盖国强,冯春培.ORACLE数据库性能优化[M].北京:人民邮电出版社,2005:45-85,153-169.
作者简介
苏雅丽女、1980年、蒙族、赤峰巴林左旗、讲师.