论文部分内容阅读
随着网络安全业务的不断开展，监控数据资源的不断增加，各种网络安全监控系统采集到的数据也不断的增加。业务人员需要对这些来源众多、数据表示格式不同的数据进行分析。如何及时的对这些“海量”安全事件数据进行分析和挖掘，从中快速提取有用信息，是目前数据处理系统迫切需要解决的问题。OLAP技术是构建在数据仓库基础上的一项重要数据分析技术，它提供对数据的多维视图，即以多维的形式来观察各种历史数据。本文根据海量网络安全数据的特征，提出了一套OLAP分析的方案，并对系统各个关键步骤的算法进行了优化，提高了系统的效率。主要研究内容及结果如下：
⑴针对海量安全数据的特征建立了一套星型模型结构，支持多维数据的存储和操作。其中包括了维度表、事实表的设计以及针对特定主题的星型模型的建立。
⑵设计并实现了海量数据ETL(数据抽取、转换、加载)过程。设计了一套元数据表对整个ETL过程进行控制和管理，并对过程的每个步骤进行了研究和优化：对其中的抽取和加载过程进行了批量优化，对数据转换中耗时较多的IP定位算法和时间维的定位方法进行了优化，最后对整个ETL过程使用了多进程并行的方法进行优化。
⑶为了提高查询速度，系统使用了物化视图结构，并针对数据的具体查询和更新特征，提出了双层物化视图的结构，针对具体应用的数据特征对其进行了合理分解，减少了更新时需要计算的数据量，加快了更新速度。