【摘 要】
：
近十几年来,随着云计算技术与数据智能技术的成熟,依赖生产中积累的数据,智能决策在企业生产中发挥了指导性作用。通常支持智慧决策的数据量级在BT甚至PT,而且由于各个业务场景的不同、信息化存储技术的差异以及信息的不透明性导致数据呈现出“数据孤岛”的现象。如何把来源不同、格式各异和特点相近的数据在逻辑上或物理上有机地集中在一起,形成格式标准化、访问一致化、数据存储集中化的统一数据成为企业数据仓库建设中面
论文部分内容阅读
近十几年来,随着云计算技术与数据智能技术的成熟,依赖生产中积累的数据,智能决策在企业生产中发挥了指导性作用。通常支持智慧决策的数据量级在BT甚至PT,而且由于各个业务场景的不同、信息化存储技术的差异以及信息的不透明性导致数据呈现出“数据孤岛”的现象。如何把来源不同、格式各异和特点相近的数据在逻辑上或物理上有机地集中在一起,形成格式标准化、访问一致化、数据存储集中化的统一数据成为企业数据仓库建设中面临的主要问题。现存的数据集成工具多为C/S架构,存在数据转化率低、无法集群管理、不支持断点续传等问题。针对上述问题,论文主要分析企业数据集成过程中存在的问题,并就其中的数据转化效率低问题、断点续传问题、系统高可用性问题提出解决方案,设计并实现了分布式数据集成平台。本论文所做的工作如下:（1）分布式数据集成系统的需求分析:分析企业数据的数据格式及分布情况,结合企业数据分析的应用场景提出明确的系统需求分析。然后,将分布式数据集成系统的需求按功能性需求和非功能性需求进行划分,其中功能性需求是系统根据用户需要而提供应用服务的需求。非功能性需求是保证系统稳定。（2）分布式数据集成系统的设计与实现:系统的设计与实现是在需求分析的基础上,完成对系统各个功能模块的设计与实现。本论文分别从系统架构设计、系统数据库设计和系统功能设计三个方面介绍论文的主要工作。首先在系统架构中引入分布式协调服务框架Zoo Keeper来完成分布式集群管理和集群资源调度的工作,在功能实现上通过二次开发开源数据转换框架Kettle来实现复杂数据的转换过程,同时弥补了Kettle不支持断点续传、在线节点扩容、集群资源查看等缺陷。其次,在系统数据库设计方面以ER图与表结构的方式介绍了各个数据的类型以及数据间的关联关系。最后,系统功能设计部分采用系统类图、时序图和示意图的方式对每个功能模块进行了详细设计说明。（3）分布式数据集成系统测试:最后完成了系统的测试工作。首先根据测试要求搭建测试所需的软、硬件环境,然后对系统的功能模块和非功能模块进行测试,最后根据测试结果总结分析系统是否符合预期要求以及系统需要改进的方面。经过系统各个方面的测试,分布式数据集成系统能够正常且稳定的提供服务。每个功能任务的响应时间都到达用户预期,平台满足企业的数据仓库建设的预期需求。
其他文献
近年来,卫星通信技术朝着高通量、终端小型化和移动化方向快速发展,新一代DVB-S2X标准因具有带宽利用率高、信道频带宽、传输信息量大和传输能力强等优势而得到广泛关注。DVB-S2X标准能支持多种调制编码方式、甚低信噪比模式和超帧模式,从而可以满足高通量卫星和小型移动终端的传输需求。对于不同应用场景,DVB-S2X标准定义了支持连续系统的标准帧结构和支持突发系统的超帧结构,针对这两种不同结构,本文研
合成孔径雷达（Synthetic Aperture Radar,SAR）成像技术有着全天时全天候的独特优势。SAR图像的质量也随着成像技术发展逐步提高,但其固有的成像模式和相干斑导致SAR图像的解译比光学图像更困难。图像分割作为SAR图像解译的重要技术之一有着重要的现实意义,因此有必要发展适用于SAR图像的分割技术。近年来,关于SAR图像分割的方法层出不穷、种类繁多。但由于真实场景SAR图像的复杂
微处理器作为信息处理系统中的运算核心,在高性能计算、信号与图像处理等领域获得了广泛的使用。浮点处理器作为微处理器中的重要部件,对微处理器的性能起着重要的作用,而超越函数作为浮点运算的一种重要类型,其运算的速度与精度都会影响处理器系统的性能。针对雷达信号处理、无人机飞控等领域对超越函数浮点运算的高精度和实时性需求,设计高性能的超越函数浮点处理器具有重要的工程应用价值。本文在分析国内外现有研究的基础上
大数据正以指数级速度增长,其中大量数据是文本数据。文本数据作为传递信息的主要媒介,对文本信息的存储、传输和检索的成本急剧上升。因此需对文本进行压缩以节省存储传输成本,同时建立支持高效检索的压缩索引。压缩自索引已广泛用于许多字符串处理应用程序中,例如信息检索,基因组分析,数据挖掘和Web搜索。索引不仅索引数据,并且采用压缩形式对数据进行编码。而且,索引和它编码的数据可以直接操作,无需解压缩整个索引,
云计算以其强大的存储空间和快捷的计算服务吸引了各行各业的广泛关注.数据存储在云上,数据所有者失去对数据的直接控制,数据的机密性和访问控制问题随之而来.属性加密能够实现密文数据的细粒度和非交互式访问控制,因此被认为是解决上述问题的有效加密技术之一.在属性加密中,用户的密钥可能被窃取、丢失或者用户离开系统,此时应当及时地撤销用户的访问权限以确保数据的机密性.另外,数据加密后存储在云服务器上虽然保护了数
在互联网时代,公司都希望获取用户使用产品过程中的数据,希望通过分析用户数据来改进产品。在公司原有项目中,用户数据分析的各个功能是彼此独立的功能模块,无法充分发挥其价值。随着公司对用户数据分析的重视,为更好的利用原有的与用户数据分析相关的功能模块,项目组决定对原有的功能模块进行整合,搭建一个整体的用户数据分析平台。由于原有的功能模块相互独立,存在功能耦合严重、功能重用率低以及稳定性差等问题。因此,项
社区警务是当下警务工作中最为基础的且重要的组成部分,极大的影响了整个城市的警务系统发展与建设。近些年随着不断增加的人口数量,不断增大的房屋居住密度,数据获取的来源变得更具有多样性和复杂性。智慧时空社区警务系统开发是受武汉市某区公安局委托,旨在打破传统警务管理模式,充分利用共享数据信息,拓宽警务管控网络的情报和信息传递渠道,增强警务协同联动工作能力,综合优化社区警务资源配置。智慧时空社区警务系统利用
分布式系统是处理大规模任务的主要平台,可以高效地处理大数据任务和计算密集型任务,能够通过并行计算有效缩短任务完成耗时。随着分布式系统网络规模的不断扩大,参与任务计算的处理机数量不断增加,即使每个处理机都具有良好的鲁棒性,当分布式系统中处理机数量增长到成千上万个时,处理机的平均故障时间也将从数百天缩短至几小时或更少。当参与计算的处理机因内部错误、网络攻击、网络瘫痪等原因发生故障时,该处理机将不能再继
随着保险行业业务发展的不断扩张,传统保险行业急需一种更加有效面对日益增长的海量数据的处理方法。然而在国内的传统保险行业当中,面对如此海量的数据,利用效率却依然具有很大的局限性。大数据技术和数据可视化的出现,使得对海量数据的利用取得了巨大的突破。本文针对目前大数据实时看板的发展现状,结合Hadoop的开源大数据生态与Spark计算框架,基于B保险公司的具体业务项目,通过梳理设计业务场景的数据模型,设
SOC可以有效地降低电子信息系统产品的开发成本,缩短开发周期,提高产品的竞争力,是未来工业界将采用的最主要的产品开发方式。为了应对SOC芯片设计制造技术的飞速发展所带来的对芯片测试行业的新挑战,节约测试成本并缩短开发周期,本文开展了基于中低端ATE测试机的SOC测试技术研究,得到了一种可用于MCU内核的SOC芯片电气特性与功能的低成本快速测试的软硬件实现方案。论文主要工作如下:1.针对中低端ATE