论文部分内容阅读
随着航天技术的发展，航天系统中每时每刻都在产生大量的数据，并且数据的规模随着时间的推移会越来越大，与此同时系统中的使用者对数据的实时性要求也越来越高，诸多因素促使航天地面数据处理系统必须进行改变以应对大数据时代的到来。 实时流计算系统目前被广泛地应用于实时数据流处理，在大数据处理和数据挖掘等方面取得了瞩目的成果。实时流计算系统是一个分布式并行处理系统，具有接口简单、部署灵活、高可靠性和高吞吐率等特点，同时在数据挖掘等算法的实现上具有非常好的可扩展性。 本论文充分调研了国内外实时数据流处理研究现状，并对相关关键技术进行了深入研究，论文主要工作如下: 首先研究了现有开源实时流计算系统Storm，深入分析了系统架构和实现方法，并研究了Storm系统在航天地面数据处理系统中的应用和不足; 研究了实时流计算系统的通用架构，并针对航天地面数据处理系统中数据流的特点和系统需求，设计了基于调度的任务执行方式，通过逐跳应答的方式保证系统中消息处理的可靠性和一致性; 论文最后通过多级并行计算网络，改进了现有实时流计算系统无法有效处理关联型数据流的缺陷。