论文部分内容阅读
信息化技术的迅猛发展推动了部门业务信息系统快速普及。然而由于信息系统实现的技术体制、数据编码不一性,直接促使了业务部门内或跨业务部门的信息系统出现"烟囱林立"问题,严重影响了信息系统综合应用集成。为解决此问题,业界提出了多源异构数据集成关键技术,很少考虑分布式集群环境。提出了一种分布式环境下高性能数据集成工具(distributed herogenerous data integration tool,DHDIT),通过引入大数据流式并行计算框架、微服务、消息队列等技术,实现多源异构数据的在线高效率