论文部分内容阅读
摘 要：现代互联网技术的发展、智能终端的出现，在这一大背景下，如何做好大数据的储存、管理，已经成为移动运营商发展需要解决的重要问题。移动运营商大数据资源非常丰富，但是应用效果却不佳，为了持续发展，移动运营商有必要对大数据中间件投入研究力量。本文主要通过对移动信令数据分析的大数据中间件研究必要性的介绍，研究了移动信令数据分析的大数据中间件，希望对大数据中间件的早日应用提供帮助。
关键词：移动信令数据;大数据中间件;研究
现阶段，我国有很多企业都对移动信令数据进行研究分析，而且大多数企业都有自己的算法库，但是因为没有统一的规范与标准，移动信令数据的挖掘与分析存在着重复性，同时算法库管理水平也不高，最为重要的是项目模块几乎没有共享性，这使得很多资源没有得到充分利用，大数据库的管理工作也十分不方便。基于就这个现状来说，企业的确应该制作大数据中间件。
1 移动信令数据分析的大数据中间件研究必要性
移动信令数据分析问题将是未来各界人士只要研究的问题，这主要是由于现代企业希望通过对移动信令数据的挖掘，来获得更多更有价值的信息，从而推动企业发展。移动信令数据分析与研究的必要性体现如下：
首先，现代企业所使用的数据分析方法比较落后，已经不能满足大批量数据分析的要求，尤其是在互联网时代，企业所需要的数据几乎都来自于移动互联网，而互联网上的信息非常多，现有数据分析方式已经不能达到要求，因此企业有必要建立更先进的数据分析框架，以能够满足移动大数据快速有效的分析要求;其次，移动信令数据分析既可以为用户提供更具权威性的感知，也可以为用户提供实时的设备监测数据。新型技术的应用可以提高企业精细化管理的水平，为企业提供决策正确率奠定基础;再次，现阶段移动运营商正在努力的挖掘移动大数据但是并没有形成系统，而此時，各个厂家也都在发挥自己的效能进行研究与信令监测，这就导致研究资源的大量浪费，同时无论是投资、研究，还是开发都具有重复性，因此需要大数据中间件进行研究，以减少这种浪费;第四，现阶段各个企业所进行都没有统一的标准与规范，所以有很多开发项目都不够规范，尽管有很多厂家都具有自己的算法库以及场景库，但是却没有统一的标准来规范，所以管理比较混乱，而大数据中间件建立之后，标准与规范相对都比较统一，这为各个厂家也提供参照标准;第五，大数据分析由很多模块构成，但是很多处理模块却没有达到统一，也没有实现共享。无论哪一类项目，挖掘数据、分析数据等都需要算法，但是现阶段却没有统一标准来实现算法，再加之，项目与项目之间没有进行良好的沟通，所以项目中的模块只能在本项目中应用，无法应用在其他项目中，即共享性非常弱。
基于上述几点，企业有必要对移动信令数据进行深入的分析，制作出共享性强、标准统一的中间性软件，这样才能实现大数据处理，便于大数据科学合理的管理与应用。
2 基于移动信令数据分析的大数据中间件
2.1 大数据中间件架构
企业在进行移动信令数据分析时，为了确保网络与营销分析更加真实可靠，研究人员尝试着在制作大数据中间件，将其放于应用层与共享层之间。有关人员在共享层中挖掘数据，而应用层通过中间件，共享数据。中间件既要模型库，也有算法库，同时还有大数据分析系统化做支撑，所应用的模式，既有语言，也有接口。这种中间件，功能强大，尤其是共享性突出。
中间件具体的处理流程如下：应用类型分析。针对具体应用场景，对共享层的输入数据进行抽样，对抽样数据进行主成分分析，提取感兴趣的字段，遍历模型库，若存在该应用类型的应用模型，将感兴趣的字段与模型库中对应的应用模型关键字进行匹配，根据匹配结果进行下一步相关处理;按已确定的关键字提取原始数据，对提取的数据进行清洗、审核，输出审核通过的数据;对海量原始数据进行分布式存储，根据目标用户，进行数据抽取，得到用户数据文件，然后对用户数据文件进行文件合并;在算法库中选择不同的算法对样本数据进行挖掘分析，计算其准确率，用遗传算法对算法进行组合，得出近似最优解，并对组合分类算法进行预评估;对组合算法模型进行初始参数配置，对样本数据进行相应的数据变换。
2.2 并行数据挖掘算法库
数据挖掘算法库是大数据中间件的核心组成部分之一，它包括各类数据挖掘算法的实现以及组合算法的实现。其中，算法的并行化是算法库的核心。为实现对多种并行数据挖掘算法的管理，更好地利用算法本身并行性以及整个数据挖掘算法流程上的并行性，在上述计算框架下增加对数据挖掘算法与服务管理，对数据挖掘算法的工作流进行定义，增加对各种数据挖掘算法的扩展性支持，灵活配置各种数据挖掘算法，对算法整个计算流程进行管理，优化算法各个流程所需要的计算框架的分配方式，实现对批量计算的流水并行。
2.3 大数据中间件应用效果
2.3.1 有效降低移动大数据研究项目的重复投资、重复研究和重复建设，为应用层决策提供强大的数据支撑，为后续大数据分析的发展提供基础平台。移动大数据分析处理中间件预计每年为湖北移动分公司网管中心节省大数据研究项目经费30万。
2.3.2 大幅减少人力投入。本项目构建的移动大数据处理中间件，具有高效准确的数据挖掘算法支持，数据处理智能高效，提供各种大数据分析挖掘服务，提高应用层业务分析人员的工作效率，从而有效节省人力资源。应用层业务研究分析人员通过使用移动大数据分析挖掘服务，能够快速、准确地进行移动信令大数据的统计、挖掘等功能，能提高数据分析人员工作效率一倍以上。
2.3.3 大幅提高大数据营销的效率。本项目提供先进的数据挖掘算法和算法组合方法，为移动信令大数据分析挖掘提供快速、准确、全面的算法支持，提高营销分析速度和成功率。以终端营销为例，能将营销成功率提高百分之六十以上。
结束语
综上所述，可知对移动信令数据分析的大数据中间件研究十分重要。如果大数据中间件研究成功，并且应用在实际工作中，企业的潜在价值将会被充分的挖掘出来，不仅能够提高算法效率，同时能够提高算法的准确率。通过实验研究，企业应该自大数据中间件之后，不仅减少了重复投资与研究，同时也减少了人力投入，另外，大数据营销水平也得到了非常大提高，因此，大数据中间件完全值得尝试应用。
参考文献
[1]左超，耿庆鹏，刘旭峰.基于大数据的电信业务发展策略研究[J].邮电设计技术，2013（10）.
[2]俞国红.智能化数据库中间件的设计与实现[J].廊坊师范学院学报（自然科学版），2010（1）.
[3]潘琛宇，唐晓梅，陈家训.基于平台中间件的自助式缴费系统[J].微型机与应用，2002（12）.
[4]马红静.基础件超越中间件[J].每周电脑报，2002（27）.
[5]何旭，李仁发，何晶.中间件技术的应用研究[J].湖南大学学报（自然科学版），2002（S1）.
关键词：移动信令数据;大数据中间件;研究
现阶段，我国有很多企业都对移动信令数据进行研究分析，而且大多数企业都有自己的算法库，但是因为没有统一的规范与标准，移动信令数据的挖掘与分析存在着重复性，同时算法库管理水平也不高，最为重要的是项目模块几乎没有共享性，这使得很多资源没有得到充分利用，大数据库的管理工作也十分不方便。基于就这个现状来说，企业的确应该制作大数据中间件。
1 移动信令数据分析的大数据中间件研究必要性
移动信令数据分析问题将是未来各界人士只要研究的问题，这主要是由于现代企业希望通过对移动信令数据的挖掘，来获得更多更有价值的信息，从而推动企业发展。移动信令数据分析与研究的必要性体现如下：
首先，现代企业所使用的数据分析方法比较落后，已经不能满足大批量数据分析的要求，尤其是在互联网时代，企业所需要的数据几乎都来自于移动互联网，而互联网上的信息非常多，现有数据分析方式已经不能达到要求，因此企业有必要建立更先进的数据分析框架，以能够满足移动大数据快速有效的分析要求;其次，移动信令数据分析既可以为用户提供更具权威性的感知，也可以为用户提供实时的设备监测数据。新型技术的应用可以提高企业精细化管理的水平，为企业提供决策正确率奠定基础;再次，现阶段移动运营商正在努力的挖掘移动大数据但是并没有形成系统，而此時，各个厂家也都在发挥自己的效能进行研究与信令监测，这就导致研究资源的大量浪费，同时无论是投资、研究，还是开发都具有重复性，因此需要大数据中间件进行研究，以减少这种浪费;第四，现阶段各个企业所进行都没有统一的标准与规范，所以有很多开发项目都不够规范，尽管有很多厂家都具有自己的算法库以及场景库，但是却没有统一的标准来规范，所以管理比较混乱，而大数据中间件建立之后，标准与规范相对都比较统一，这为各个厂家也提供参照标准;第五，大数据分析由很多模块构成，但是很多处理模块却没有达到统一，也没有实现共享。无论哪一类项目，挖掘数据、分析数据等都需要算法，但是现阶段却没有统一标准来实现算法，再加之，项目与项目之间没有进行良好的沟通，所以项目中的模块只能在本项目中应用，无法应用在其他项目中，即共享性非常弱。
基于上述几点，企业有必要对移动信令数据进行深入的分析，制作出共享性强、标准统一的中间性软件，这样才能实现大数据处理，便于大数据科学合理的管理与应用。
2 基于移动信令数据分析的大数据中间件
2.1 大数据中间件架构
企业在进行移动信令数据分析时，为了确保网络与营销分析更加真实可靠，研究人员尝试着在制作大数据中间件，将其放于应用层与共享层之间。有关人员在共享层中挖掘数据，而应用层通过中间件，共享数据。中间件既要模型库，也有算法库，同时还有大数据分析系统化做支撑，所应用的模式，既有语言，也有接口。这种中间件，功能强大，尤其是共享性突出。
中间件具体的处理流程如下：应用类型分析。针对具体应用场景，对共享层的输入数据进行抽样，对抽样数据进行主成分分析，提取感兴趣的字段，遍历模型库，若存在该应用类型的应用模型，将感兴趣的字段与模型库中对应的应用模型关键字进行匹配，根据匹配结果进行下一步相关处理;按已确定的关键字提取原始数据，对提取的数据进行清洗、审核，输出审核通过的数据;对海量原始数据进行分布式存储，根据目标用户，进行数据抽取，得到用户数据文件，然后对用户数据文件进行文件合并;在算法库中选择不同的算法对样本数据进行挖掘分析，计算其准确率，用遗传算法对算法进行组合，得出近似最优解，并对组合分类算法进行预评估;对组合算法模型进行初始参数配置，对样本数据进行相应的数据变换。
2.2 并行数据挖掘算法库
数据挖掘算法库是大数据中间件的核心组成部分之一，它包括各类数据挖掘算法的实现以及组合算法的实现。其中，算法的并行化是算法库的核心。为实现对多种并行数据挖掘算法的管理，更好地利用算法本身并行性以及整个数据挖掘算法流程上的并行性，在上述计算框架下增加对数据挖掘算法与服务管理，对数据挖掘算法的工作流进行定义，增加对各种数据挖掘算法的扩展性支持，灵活配置各种数据挖掘算法，对算法整个计算流程进行管理，优化算法各个流程所需要的计算框架的分配方式，实现对批量计算的流水并行。
2.3 大数据中间件应用效果
2.3.1 有效降低移动大数据研究项目的重复投资、重复研究和重复建设，为应用层决策提供强大的数据支撑，为后续大数据分析的发展提供基础平台。移动大数据分析处理中间件预计每年为湖北移动分公司网管中心节省大数据研究项目经费30万。
2.3.2 大幅减少人力投入。本项目构建的移动大数据处理中间件，具有高效准确的数据挖掘算法支持，数据处理智能高效，提供各种大数据分析挖掘服务，提高应用层业务分析人员的工作效率，从而有效节省人力资源。应用层业务研究分析人员通过使用移动大数据分析挖掘服务，能够快速、准确地进行移动信令大数据的统计、挖掘等功能，能提高数据分析人员工作效率一倍以上。
2.3.3 大幅提高大数据营销的效率。本项目提供先进的数据挖掘算法和算法组合方法，为移动信令大数据分析挖掘提供快速、准确、全面的算法支持，提高营销分析速度和成功率。以终端营销为例，能将营销成功率提高百分之六十以上。
结束语
综上所述，可知对移动信令数据分析的大数据中间件研究十分重要。如果大数据中间件研究成功，并且应用在实际工作中，企业的潜在价值将会被充分的挖掘出来，不仅能够提高算法效率，同时能够提高算法的准确率。通过实验研究，企业应该自大数据中间件之后，不仅减少了重复投资与研究，同时也减少了人力投入，另外，大数据营销水平也得到了非常大提高，因此，大数据中间件完全值得尝试应用。
参考文献
[1]左超，耿庆鹏，刘旭峰.基于大数据的电信业务发展策略研究[J].邮电设计技术，2013（10）.
[2]俞国红.智能化数据库中间件的设计与实现[J].廊坊师范学院学报（自然科学版），2010（1）.
[3]潘琛宇，唐晓梅，陈家训.基于平台中间件的自助式缴费系统[J].微型机与应用，2002（12）.
[4]马红静.基础件超越中间件[J].每周电脑报，2002（27）.
[5]何旭，李仁发，何晶.中间件技术的应用研究[J].湖南大学学报（自然科学版），2002（S1）.