论文部分内容阅读
随着大数据时代的到来，如何处理海量数据以及从数据集中提取有效信息引起了研究者的广泛关注。现有的数据分析技术针对海量数据集耗时太长，对于非实时场景用户尚可接受，但并不能满足健康、交通、股票市场以及欺诈检测等需要快速处理实时数据并提取结果的领域的性能需求。复杂事件处理CEP(ComplexEvent Processing)是一项支持实时数据处理的关键技术，支持各种复杂的事件模式查询。现有的CEP系统大多数是基于单机的系统，性能有限，少数的分布式CEP系统大多是商用专用系统，通用性不够。因此本文设计并实现了通用分布式复杂事件云服务系统，简称DCEP(Distributed Complex Event Processing)，DCEP能够允许异源实时事件流高效接入，并且允许用户自定义感兴趣的复杂事件模式。DCEP有机结合了复杂事件处理技术、分布式流处理技术以及基于Docker的云服务技术，实现了系统组件的通用、高效、可扩展。 本研究主要内容包括：⑴对DCEP系统的需求进行了详细分析，分析了系统的功能性需求，性能需求以及主要用例，并在此基础上阐述了基于Docker的分布式通用复杂事件处理云服务系统的整体架构设计与业务模块设计。⑵阐述了实现DCEP系统的三个关键技术:1.提出基于数据处理管道化、数据分区处理以及操作符分布式多个策略的分布式复杂事件检测拓扑结构的动态构建模型;2.提出支持分区的通用事件表示模型，并基于此设计实现了基于分区的支持负载均衡的事件生产者和基于分区的并行事件读取的消费者模型;3.提出基于Docker的分布式组件构建、管理与部署方案，实现了组件物理资源的动态扩展与高可用。⑶展示了DCEP系统的应用程序接口API(Application ProgramInterface)并通过具体案例展示了DCEP系统的使用方式以及运行状况，除此之外还通过实验验证了DCEP系统关键组件的高效扩展性。