基于开源生态系统的大数据平台研究

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:yuhua_ly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模数据的收集和处理是近年的研究热点,业界已经提出了若干平台级的设计方案,大量使用了开源软件作为数据收集和处理组件.然而,要真正满足企业应用中海量数据存储、多样化业务处理、跨业务分析、跨环境部署等复杂需求,尚需设计具有完整性、通用性、支持整个数据生命周期管理的大数据平台,并且对开源软件进行大量的功能开发、定制和改进.从小米公司的行业应用和实践出发,在深入研究现有平台的基础上,提出了一种新的基于开源生态系统的大数据收集与处理平台,在负载均衡、故障恢复、数据压缩、多维调度等方面进行了大量优化,同时发现并解决
其他文献
青藏铁路开心岭1号特大桥位于多年冻土湿地处,高寒缺氧、多年冻土、环境保护三大技术难题在这座桥上得以集中地体现。在施工过程中,采取多项针对性措施,取得较好效果。主要介绍
微信作为信息时代的主要产物,已经被大多数人普遍认可与使用。微信拉近了人与人之间的距离,也给人们的日常生活和工作带来了极大的便利。但对于高等院校而言,其肩负着教育学
毕飞宇一直被认为是当代男作家中最关注女性命运的人。无论是在他的城市题材小说诸如《哺乳期的女人》《林红的假日》,还是在他的乡村题材小说诸如《玉米》《平原》等小说中,
通过沈山线绥中公铁立交桥的设计实践,对曲线梁桥的设计特点,尤其是结构安全设计进行归纳和总结。
针对目前铁路站场照明系统普遍采用的有线控制方式,提出了一种基于GSM无线通信网络的铁路站场照明远控方式,可实现铁路站场照明的信息化控制。该远控方式在改建铁路京包线大
结合某桥梁软弱地基处理的工程实践,对振动套管碎石桩加固软弱易液化桥梁地基的参数从工期、造价、加固效果等方面进行比选,并对不同桩距的复合地基进行承载力试验和标贯试验,根
温泉旅游外宣的英译资料是宣传旅游资源和吸引国外游客的主要途径。为了让国外受众更好地了解温泉旅游,提升温泉旅游城市外宣资料的翻译质量,依据功能主义翻译理论讨论最典型