【摘 要】
：
随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据
论文部分内容阅读
随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据采集实时性差的问题,提出垂直切分ETL工作流和水平切分待处理数据集,建立一种基于Storm平台的流式ETL处理方案。同时,针对Storm在进行任务分配时对工作节点CPU负载不敏感的缺点,通过定时任务记录工作节点的CPU负载信息,对Storm调度器的slot分配方式进行优化,使得Storm集群的负载更加均衡。实验结果证明该方案可有效提高ETL的处
其他文献
通过分析月面环境的特殊性,在地面惯性导航系统理论体系的基础上,运用哥氏定理对月面环境下的惯性导航模型进行了系统研究;完成了惯性导航方程的建立及证明、系统误差、速度
中航商用飞机发动机有限责任公司于1月4日宣布，国产大飞机发动机总装试车基地落户上海浦东临港地区，该基地的功能将包含LEAP-X1C发动机国际合作装配项目。日前公司还与德国MTU
为贯彻落实国防科技工业科技发展中长期规划纲要，研讨“十二五”国防科技工业试验与测试技术发展战略，推进武器装备的试验与测试技术创新，提升军工核心能力，在国家国防科技工业局
提出了一种新型虚拟训练软件输入设备,以解决目前虚拟训练软件常用的输入设备逼真度不足的问题;系统将微惯性测量原理应用于人体姿态检测,选用微机电系统(Micro Electro Mechanical Systems,MEMS)器件构建微惯性测量单元(Micro Inertial Measurement Unit,MIMU)作为人体训练动作的硬件采集设备;采用VC++设计上位机系统软件完成人体动作检测与
随着列车运行速度的提高,新型大容量业务不断出现,带宽已成为列车通信网络传输的主要瓶颈;根据列车通信网络的发展趋势,对未来工业以太网用于列车通信网络的两种可能形式进行
采用Motorola公司的MPC852T微处理器加载嵌入式实时操作系统pSOS，开发了一款检测光传输单板质量的智能测试系统;该系统包括CPCI测试平台和同步传输交叉LPS16A单板等硬件系统，以
根据实际单体光伏电池特性和电气参数，提出一种利用MATLAB中曲线拟合工具箱结合光照强度数据模拟光照强度变化的方法，该仿真模型能够准确地反映光照强度变化情况；文章主要对某地
研究了一种基于子空间跟踪的盲自适应多用户检测的算法，提出了一种改进的PASTd算法和卡尔曼滤波算法相结合的盲自适应多用户检测算法。把改进的PASTd算法和卡尔曼滤波器结合，提
近日，中国半导体行业协会、中国电子材料行业协会、中国电子专用设备工业协会、中国电子报共同评选出“第四届（2009年度）中国半导体创新产品和技术”36个项目。中国电子科技集团
地下水监测是为保障社会经济可持续发展而开展的一项重要的基础性、公益性工作;所以,对水资源数据进行准确采集、系统管理的地下水遥测管理系统也就成为了地下水监测工作中必不可少的部分;根据地下水监测点环境的特点,设计了一种基于单片机与GSM网络的地下水远程监测管理系统;利用GSM网络的短消息业务(SMS)来完成地下水水位、温度等参数的无线、远程和实时传输,实现了测量结果的计算机管理,测量精度高;经过实际使