论文部分内容阅读
摘要：随着大数据技术在不同领域的快速应用，构建大数据应用系统的开发与运行一体化平台，降低大数据技术在各行各业应用普及的门槛，为面向领域的大数据应用系统的快捷开发和高效运行提供方法、工具和平台支撑，成为大数据产业发展的迫切需求.由于大数据固有的复杂性、动态性、多样性及其价值独创性，目前尚未形成系统化的大数据软件开发方法基于最新的开源大数据组件集，构建了集数据收集整理、数据存储、离线分析发现、实时关联检测、威胁预警和态势呈现等功能于一体的、支持全流程安全事件处理过程的、完整的网络安全态势感知及预警架构，与现有同类平台架构相比，其具有高可用、可扩展、易部署等特点，且能较好地支持威胁情报的引入。
关键词：开源工具;大数据;态势感知;威胁预警;大数据生命周期
随着互联网的大规模增长，各种入侵和攻击网络工具及手段层出不穷，这使得对入侵行为的检测和预防成为网络系统的关键组成部分。恶意入侵可以定义为威胁网络资源（如用户账号、文件系统、系统内核等）的完整性、机密性或可用性的行为。入侵检测系统和入侵防御系统可对网络流量和系统运行状态进行监测，以发现恶意活动、产生报告并对入侵行为进行报警或阻止。
1.网络安全系统智能优化
大数据平台还需要对信息系统的网络安全架构进行评估并提供优化方案，例如及时推送病毒库升级、漏洞补丁，以及根据网络攻击趋势对现有网络安全架构提出调整建议和加固方案，相较于单纯的人工架构设计，基于大数据的智能优化方式具有以下优势：
（1）更为及时地评估、发现资产漏洞及架构设计弱点;
（2）用于设计优化网络安全架构的知识储备量更大且覆盖面更广;
（3）对新兴技术和趋势反应更为及时，可提高网络安全体系的前沿。
通过分析3项主要功能的业务需求和相应的技术需求，我们可以总结并提出一整套网络安全大数据构件资源库的运行分为3个阶段：训练阶段、使用阶段和动态更新阶段.在使用前，首先要进行训练，训练选型决策树和性能模型，初始化软件参数配置规则库;训练完成后，可以用于解决大数据系统的构件选型和参数配置问题;在之后的使用过程中，选型决策树、性能模型和软件参数配置规则库可以根据用户的反馈进行更新迭代，不断地学习新的知识和方法。
2使用阶段
第1步是根据规范化的需求指标获取用户需求，通过用户友好的图形界面，用户回答大数据构件资源库提出的一系列问题，即可生成量化的需求指标;
第2步是系统选型用户可以自动选型，大数据构件资源库根据需求指标选择合适的大数据系统构件，用户也可以辅助选型，对大数据构件资源库推荐的构件进行修改或确认;
第3步是硬件容量规划与资源分配，大数据构件资源库通过训练阶段得到的性能模型对用户提出的性能指标进行求解，给出最佳的硬件容量规划方案，用户可以修改或直接确认，完成硬件资源配置;
3.数据存储子系统
数据存储子系统是整体框架的存储基础，主要负责对异构数据类型的统一存储，为数据处理和检索查询提供支持，包括操作系统日志、应用日志、防火墙数据、IDS/IPS日志、网络数据包、netflow数据等多源异构数据。数据存储子系统不仅支持由收集整理子系统采集的各种安全数据存储，也要为中间处理结果提供存储保障。攻击树推理示意图如图：
在此框架设计中选取HDFS，Hive，Hbase作为存储组件。Hbase与 Hive都是将Hadoop作为底层存储，两种工具具有不同的特点，对于结构化的数据如日志文件、关系数据类型数据适合于用 Hive 进行存储查询，Hbase通常用来快速索引数据。
4数据分析
在线实时挖掘分析在线实时挖掘分析用来对实时数据进行即时分析。在线实时挖掘分析模块基于Spark框架实现，该框架采用内存计算方式对批量数据进行流处理，具有高效的计算能力和并发处理能力，特别适用于在线分析计算在线实时挖掘分析模块的工作过程是：首先整个安全区域内各防护设备和安全系统的节点数据收集完成后，经由 ETL 技术对多源异构的原始数据进行预处理，存储到Hive数据库中;然后通过Hive数据库的HiveQL命令把 HiveQL翻译成Spark实时计算框架上的RDD操作;最后通过Hive数据库的元数据获取数据库里的表信息，取出相关的文件、数据等放到Spark中进行计算。此外，离线挖掘分析模块将最新的安全事件抽象成规则，用于在线实时挖掘分析模块的规则库更新。
5總结
在大数据时代，软件系统和工程面临的机遇挑战体现在互为依赖的两方面，一方面，软件系统与工程应针对大数据处理的需求，研究如何开发支持大数据处理各个环节的软件技术与系统，形成面向大数据的软件工程——面向大数据生命周期的一体化集成设计开发环境，特别是在大数据技术从消费互联网向产业互联网渗透过程中，开发人员从复合型极客转换为产业领域型人才，凸显出大数据应用系统选型困难、系统配置难以预设、维护管理代价大等难题。
参考文献
[1] 苏忠，林繁，陈厚金，等 . 网络安全态势感知系统的构建与应用 [J].信息网络安全，2014（5）：73-77.
[2] 廖晓勇，连一峰，戴英侠 . 网络安全检测的攻击树模型研究 [J]. 计算机工程与应用，2005，41（34）：108-110.
[3] 钟力.积极主动的网络安全态势感知体系构建 [J]. 信息网络安全，2013（10）：124-126.
[4] 徐茹枝，常太华，吕广娟 . 基于时间序列的网络安全态势预测方法的研究 [J]. 数学的实践与认识，2010（12）：124-131.
2020年安徽省大学生创新创业项目（编号：S202010379145）;2020年校级质量工程项目（编号：szxy2020xxkc07）;2020年宿州学院专创融合重点课程建设项目（编号：szxy2020zckc22）;2020年校级质量工程项目（编号：szxy2020xnfz02）;2020年校级质量工程项目（编号：szxy2020xgjy05）.
关键词：开源工具;大数据;态势感知;威胁预警;大数据生命周期
随着互联网的大规模增长，各种入侵和攻击网络工具及手段层出不穷，这使得对入侵行为的检测和预防成为网络系统的关键组成部分。恶意入侵可以定义为威胁网络资源（如用户账号、文件系统、系统内核等）的完整性、机密性或可用性的行为。入侵检测系统和入侵防御系统可对网络流量和系统运行状态进行监测，以发现恶意活动、产生报告并对入侵行为进行报警或阻止。
1.网络安全系统智能优化
大数据平台还需要对信息系统的网络安全架构进行评估并提供优化方案，例如及时推送病毒库升级、漏洞补丁，以及根据网络攻击趋势对现有网络安全架构提出调整建议和加固方案，相较于单纯的人工架构设计，基于大数据的智能优化方式具有以下优势：
（1）更为及时地评估、发现资产漏洞及架构设计弱点;
（2）用于设计优化网络安全架构的知识储备量更大且覆盖面更广;
（3）对新兴技术和趋势反应更为及时，可提高网络安全体系的前沿。
通过分析3项主要功能的业务需求和相应的技术需求，我们可以总结并提出一整套网络安全大数据构件资源库的运行分为3个阶段：训练阶段、使用阶段和动态更新阶段.在使用前，首先要进行训练，训练选型决策树和性能模型，初始化软件参数配置规则库;训练完成后，可以用于解决大数据系统的构件选型和参数配置问题;在之后的使用过程中，选型决策树、性能模型和软件参数配置规则库可以根据用户的反馈进行更新迭代，不断地学习新的知识和方法。
2使用阶段
第1步是根据规范化的需求指标获取用户需求，通过用户友好的图形界面，用户回答大数据构件资源库提出的一系列问题，即可生成量化的需求指标;
第2步是系统选型用户可以自动选型，大数据构件资源库根据需求指标选择合适的大数据系统构件，用户也可以辅助选型，对大数据构件资源库推荐的构件进行修改或确认;
第3步是硬件容量规划与资源分配，大数据构件资源库通过训练阶段得到的性能模型对用户提出的性能指标进行求解，给出最佳的硬件容量规划方案，用户可以修改或直接确认，完成硬件资源配置;
3.数据存储子系统
数据存储子系统是整体框架的存储基础，主要负责对异构数据类型的统一存储，为数据处理和检索查询提供支持，包括操作系统日志、应用日志、防火墙数据、IDS/IPS日志、网络数据包、netflow数据等多源异构数据。数据存储子系统不仅支持由收集整理子系统采集的各种安全数据存储，也要为中间处理结果提供存储保障。攻击树推理示意图如图：
在此框架设计中选取HDFS，Hive，Hbase作为存储组件。Hbase与 Hive都是将Hadoop作为底层存储，两种工具具有不同的特点，对于结构化的数据如日志文件、关系数据类型数据适合于用 Hive 进行存储查询，Hbase通常用来快速索引数据。
4数据分析
在线实时挖掘分析在线实时挖掘分析用来对实时数据进行即时分析。在线实时挖掘分析模块基于Spark框架实现，该框架采用内存计算方式对批量数据进行流处理，具有高效的计算能力和并发处理能力，特别适用于在线分析计算在线实时挖掘分析模块的工作过程是：首先整个安全区域内各防护设备和安全系统的节点数据收集完成后，经由 ETL 技术对多源异构的原始数据进行预处理，存储到Hive数据库中;然后通过Hive数据库的HiveQL命令把 HiveQL翻译成Spark实时计算框架上的RDD操作;最后通过Hive数据库的元数据获取数据库里的表信息，取出相关的文件、数据等放到Spark中进行计算。此外，离线挖掘分析模块将最新的安全事件抽象成规则，用于在线实时挖掘分析模块的规则库更新。
5總结
在大数据时代，软件系统和工程面临的机遇挑战体现在互为依赖的两方面，一方面，软件系统与工程应针对大数据处理的需求，研究如何开发支持大数据处理各个环节的软件技术与系统，形成面向大数据的软件工程——面向大数据生命周期的一体化集成设计开发环境，特别是在大数据技术从消费互联网向产业互联网渗透过程中，开发人员从复合型极客转换为产业领域型人才，凸显出大数据应用系统选型困难、系统配置难以预设、维护管理代价大等难题。
参考文献
[1] 苏忠，林繁，陈厚金，等 . 网络安全态势感知系统的构建与应用 [J].信息网络安全，2014（5）：73-77.
[2] 廖晓勇，连一峰，戴英侠 . 网络安全检测的攻击树模型研究 [J]. 计算机工程与应用，2005，41（34）：108-110.
[3] 钟力.积极主动的网络安全态势感知体系构建 [J]. 信息网络安全，2013（10）：124-126.
[4] 徐茹枝，常太华，吕广娟 . 基于时间序列的网络安全态势预测方法的研究 [J]. 数学的实践与认识，2010（12）：124-131.
2020年安徽省大学生创新创业项目（编号：S202010379145）;2020年校级质量工程项目（编号：szxy2020xxkc07）;2020年宿州学院专创融合重点课程建设项目（编号：szxy2020zckc22）;2020年校级质量工程项目（编号：szxy2020xnfz02）;2020年校级质量工程项目（编号：szxy2020xgjy05）.