论文部分内容阅读
随着科学技术的发展,社会的进步,越来越多的企业都开通了互联网业务,这也就导致这些企业需要拥有自己的数据存储管理系统。因此这些企业储存了大量的数据结构、数据格式各异的跟自己业务需求相关的异构数据源。大数据的时代随之到来,然而这些海量数据的异构性成为利用这些大数据的一大难题。找寻一种方法来屏蔽这些数据源的异构性是大数据运用的前提。随着互联网用户数的迅速增加,超大用户数的访问量对企业的服务器性能提出了极高的要求。单台服务器无论拥有多高的配置都无法永远满足日益增加的用户访问量,因此基于消息总线的异构数据服务是解决以上两个问题的良好办法。本文提出了一个异构数据源的集成方法,从而解决了异构数据源的数据异构问题。并且本论文还提出一种负载均衡算法帮助合理优化服务器集群的任务分配问题,从而使服务器集群的性能达到最优化,使得企业能够有效地处理大用户量的高并发访问。本文通过提出一种基于中间件的异构数据解析方法,用户针对中间件提供的统一数据类型进行数据查询,中间件将查询语句分解为针对不同数据源的查询语句,并通过封装器获取数据。其中统一数据类型的集成是中间件法的核心问题,因此本文将详细阐述异构数据类型到中间类型,中间类型再到统一数据类型的映射方法。并且本文通过提出一种基于消息总线的负载均衡技术来处理服务器集群任务分配不均的问题,将服务器集群中的所有服务器接入消息总线,每台服务器通过消息总线可以获取其他服务器的负载情况从而进行任务的动态分配。从而良好地解决了高并发的问题。在本论文最后进行了异构数据源集成地仿真,将一个关系型数据源和一个XML数据源进行了集成实现,并且使用ActiveMQ消息中间件实现了消息总线,将四台服务器接入消息总线实现了集群服务器负载均衡地模拟。