论文部分内容阅读
随着信息技术的飞速发展,数据流这种新型数据形式在很多领域得到广泛使用。在一些实际问题中所遇到的数据流的规模也越来越大,在现有软硬件条件下,已有的数据流管理系统已经难以满足海量数据流的处理要求。因此,对已有的流管理系统进行研究和改进,使之在功能和性能上有所突破,更好的应对海量数据流处理的要求,成为当今一项紧迫的课题。本文基于现有的TelegraphCQ系统,当输入数据的规模超出系统的CPU处理能力时,搭建层次式流处理系统,让多个TelegraphCQ系统并行处理输入的数据,来实现对海量数据流的有效处理。论文的主要内容有:1.在分析和综合了数据流的研究现状和TelegraphCQ系统的原理、结构的基础上,阐述了海量数据流处理所面临的CPU瓶颈问题,提出了依托TelegraphCQ系统搭建层次式流处理系统的方法。2.详细分析了层次式流处理系统的基本原理、功能和其设计原则与设计思想,并详细说明了层次式系统的工作流程。3.研究了系统所涉及的主要算法,分析了各种算法的优缺点。4.说明了层次式系统中各个功能模块的详细设计与实现,分析了模块之间协同工作的原理和过程,并给出了系统在海量数据流处理过程中的详细执行步骤。5.对系统进行了功能测试和性能测试,并对测试结果做了简要说明。论文的研究表明,在现有条件下,采用基于TelegraphCQ的层次式流处理系统能够实现对海量数据流的有效处理,并返回用户所期望的查询结果,从而在一定程度上缓解了海量数据流处理所面临的CPU瓶颈问题。