基于分布式架构的煤矿企业日志数据分析设计与实现

来源 :煤炭技术 | 被引量 : 0次 | 上传用户:khalista6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
煤矿企业日志数据分析系统中,对数据的聚合统计,多数据源的数据关联是各种分析的基础操作。设计基于Hadoop的日志数据分析架构,并针对大数据关联准确率低的现象,将Bloom Filter算法与Map-Reduce处理架构融合。相比于传统的数据分析处理方式,算法具有容错性高、效率高等优点。 In the log data analysis system of coal mine enterprises, the data aggregation and statistics and the data association of multiple data sources are the basic operations of various analyzes. Design Hadoop-based log data analysis architecture, and Bloom Filter algorithm and Map-Reduce processing architecture for the phenomenon of low accuracy of large data association. Compared with the traditional data analysis and processing methods, the algorithm has the advantages of high fault tolerance and high efficiency.
其他文献
小学一年级的学生对于包含相差关系,部总关系的解决问题处理不好,究其原因其中有一方面是对数量关系理不清,就如何帮助学生理清数量关系做了阐述.
目的 分析全方位护理在创伤骨科患者中的应用效果.方法 本次研究的对象均为我院2013年4月~2014年4月创伤骨科收治的患者,共68例;均分为研究、对照两组,给予对照组患者常规护理
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
目的 分析尿干化学法在尿液白细胞和红细胞检查中的应用价值.方法 选取我社区卫生服务中心的124例晨尿患者作为研究对象,在征得患者及其家属同意的情况下,根据尿液检查的相关
目的 探讨、分析耳鼻喉手术后疼痛临床治疗效果.方法 选取我院2013年6月~2014年6月收治86例耳鼻喉手术患者,以随机方式将其分两组,每组43例患者,并命名为实验组和对照组.实验
目的 探讨糖尿病前期及糖尿病诊断中,糖化血红蛋白的风险值.方法 本次选取高危糖尿病和为明确糖尿病而行糖尿病筛查者100例,均测定HbAlc,并行口服葡萄糖耐量试验,按糖耐量正
期刊
目的 分析血液透析和腹膜透析病患钙磷代谢紊乱治疗的临床价值.方法 将采用血液透析治疗的慢性肾病患者设为对照组,采用腹膜透析治疗的肾病患者为观察组,给予两组患者相同的
英语阅读在英语学习中的作用是及其重要的,在各级、各类考试所占分值逐渐增大,而且在丰富知识,发展人际和自我反省等方面具有重要作用。那么阅读技能的学习和培养就是非常有
本文简述了跨文化交际学的产生和目前我国高校外语教学中文化导入的现状,重点阐述了培养跨文化交际能力过程中应引起重视的三个文化教育问题:1)加强外国文化导入的全面性和系