论文部分内容阅读
摘 要：文章首先阐述了等级保护2.0时代网络安全防护的困境以及态势感知研究的目的，介绍了网络安全态势感知的关键技术。提出一种以网络数据融合技术、数據挖掘技术、网络态势量化技术、可视化技术等关键技术为核心，集网络态势数据采集、融合、挖掘分析功能和安全风险监测、网络攻击报警、预判于一体的安全态势感知平台。文章对平台的数据采集器、消息队列、数据分析引擎、数据存储集群、告警与通知、安全可视化、Web服务器等六大子系统进行了阐述。
关键词：网络态势感知;大数据;网络安全;等级保护
中图分类号：TP309 文献标识码：A 文章编号：1674-1064（2021）04-040-02
DOI：10.12310/j.issn.1674-1064.2021.04.020
随着信息技术的发展，经过等保标准不断的完善、更新和充实，保证了标准的实用性。等级保护2.0标准在原标准的基础上，更加强调安全防护的主动性，注重攻击的主动防御、安全可信、态势感知和全面审计。随着云计算技术、大数据技术和物联网等技术的广泛应用，计算机网络面临的安全威胁越来越多，面对当前严峻的网络安全形势，需要应用先进的信息安全技术理念建设一套网络安全态势感知系统，实现对网络安全风险的实时监测和精准预警，以及对网络安全态势的全面感知和响应，从而提升网络信息安全防护能力。
1 传统网络安全防护存在的困境
在等保2.0时代，为了实现对基础信息网络、云计算平台、大数据集群等系统的全面安全防护，网络安全防护存在着诸多困境，企业信息化安全架构日渐复杂，接入安全设备的类型、产生的网络安全数据越来越多，传统的分析能力不足以支撑现有的安全需求。随着APT为代表的网络威胁的兴起，需要储存与分析的安全信息越来越多，需要以更加敏捷快速的方式对网络威胁做出甄别和响应。为了及时应对大数据环境下的网络安全威胁，有效遏制各类网络攻击，预测网络安全发展态势并采取适当的应急策略，大数据环境下的网络安全态势感知技术亟待研究[1]。
2 基于大数据的网络安全态势感知及关键技术
2.1 网络安全态势感知概念
网络安全态势感知是指在大规模网络环境中，对能够引起网络安全态势发生变化的安全要素进行提取、理解、显示，并预测未来发展趋势[2]。大数据环境的态势感知是指在大规模网络环境及海量数据中整合用户终端、网络链路、应用系统、数据流量等各类感知数据源，采用大数据分析挖掘技术，使用智能算法和安全模型，将看似毫无联系、混乱无序的各类安全数据转化成直观的可视化信息，实现威胁发现、精准预警和态势感知[3-4]。
2.2 网络安全态势感知关键技术
2.2.1 网络数据融合技术
数据融合按照不同的方法可进行多方向的分类，可以按照数据处理的层级分类，可以按照数据模型的结构分类，可以按照数据收集来源的组合情况分类[5]。在网络态势感知领域中，网络数据融合技术更多的是考虑网络态势感知数据的时效性和位置性，因此可以将网络数据融合分成两类，即基于时间和基于空间的数据融合[6]。
2.2.2 数据挖掘技术
数据挖掘是指从大量数据中挖掘出有用的信息[7]，网络态势感知数据的挖掘就是从大量的、异构的、不同数据来源的数据中，挖掘出有利用价值的数据。通过数据挖掘技术能实现网络流量分类、异常流量检测、威胁行为分析等具体应用。
2.2.3 网络态势量化技术
网络态势量化是指将网络安全信息归并融合成分组的一定值域范围内的数值，通过数学方法处理，网络运行状况通过这些数值具体表示。随着网络安全事件发生的频率、数量以及网络受到威胁程度的不同，特征性也会产生相应的变化。这些数值的获得过程，也就是网络态势量化的过程[8]。
2.2.4 可视化技术
网络安全态势感知的数据展示层，主要通过展示界面展示网络运行状态、网络攻击行为、安全事件、整体安全态势等，并能够持续的、多维度的监测信息资产和相关的威胁、脆弱性、安全事件、安全风险等分类态势指标变化情况，同时展示告警信息[9]。
3 基于大数据的网络安全态势感知平台
网络安全态势感知平台通过采集网络内所有IT基础设施数据，利用数据建模、行为识别、关联分析等方法对网络内的所有机器数据进行统一分析，实现对网络攻击行为、安全异常事件、未知威胁的发现和告警。系统提供了网络内信息数据的集中存储、全文检索、关联分析、可视化展现等功能。网络安全态势感知平台整体架构包括如下几个子系统：
3.1 数据采集器
数据采集器是网络安全态势感知平台的数据入口。此模块对外对接网络环境的所有数据。日志采集包括主机和安全设备，以及与之相关的上下文信息（如用户、资产等）。除此之外，随着需求的逐步推进，应用程序日志、数据库日志、操作系统日志、AD/LDAP日志等也需要作为重要的数据源进行收集，为后续的分析、存储提供输入。数据采集器对内和消息队列对接，将采集的数据使用数据融合中的贝叶斯网络和D-S证据理论解析处理后，构造成标准的数据格式，输出到消息队列。
3.2 消息队列
为了适应大数据海量采集的环境，特别是为了适应因为网络流量波动、业务高峰，突发大量攻击等事件造成的数据异常波峰，消息队列子系统用于缓冲采集器收集到的数据，避免数据丢失。消息队列缓存数据后，对接数据分析引擎，提供数据获取接口。数据分析引擎通过消息队列接口获取数据用于分析。
3.3 数据分析引擎
数据分析引擎是网络态势感知安全平台的核心模块，内部通过规则匹配、数据时序分析、算法分析等方法进行网络态势分析。大数据安全分析采用kafka、Elasticsearch、Flink等大数据技术，对日志和流量数据进行统一采集、存储、分析，将海量的安全日志利用智能分析引擎进行威胁检测，转化为少量的安全事件。分析引擎通过结合历史日志和告警进行离线长周期分析，结合异常分析算法发现未知威胁事件。使用大数据技术将告警之间的时序关系、因果关系关联分析，通过当前告警可追溯攻击链模型中与其相关的各个阶段的告警时间，从而实现海量安全事件事后的溯源追查。应用数据挖掘分析模型，在海量的纷繁复杂数据中实时流式分析，定位出安全事件并将标记的安全事件再次输出到消息队列。通过分析后的事件数据被输出到数据存储集群保存下来。因此，数据分析引擎内部对接消息队列，输入原始事件数据，分析后输出安全事件数据到消息队列。同时，对接存储集群，输出通过引擎的事件数据。 3.4 数据存储集群
数据存储集群，保存通过分析的原始时间数据以及告警通知模块输出的告警数据。存储集群提供长时间、大容量的数据存储，被分布式部署在多台服务器上构成集群。集群方式可以提供更高的系统可用性、数据冗余可用性，以及更高的数据写入、检索性能。从搜索分析效率和数据存储量方面考虑，平台采用ElasticSearch技术，能够存储网络环境中各种设备和应用的安全信息，并实现稳定、可靠、快速的实时搜索。存储在集群里的数据可以被Web服务器访问，从而在界面上提供数据检索查询功能。数据存储集群内部对接数据分析引擎子系统，获取原始时间数据。对接告警通知子系统，获取告警数据。对接Web服务器子系统，提供数据查询检索功能。
3.5 告警与通知
告警与通知子系统，通过消息队列获取数据分析引擎对日志的分析后，生成安全告警并提供实时响应机制，对于发生的安全告警能够及时通知运维人员，并触发响应处理流程。响应方式包含但不限于以下方式：邮件、短信、工单、等方式。子系统根据定制配置，可形成邮件或者短信告警。同时，告警数据被输出到数据存储集群存储，支持告警类型、告警级别、告警阶段、告警状态等多个维度的查询。
3.6 安全可视化
网络态势感知安全平台可提供用户网络内整体网絡安全态势感知，展示包括外部态势、内网态势、告警态势。外部态势通过3D全球态势感知展示大屏，将安全事件通过2D和3D的形式展示出攻击源、攻击路径和攻击目标;内网态势展示当前内网告警数量、事件数量以及攻击源、攻击目的TOPN等信息;告警态势展现整个网络的告警态势，包括告警阶段、告警总数、告警级别、最新告警、重点关注告警类型、重点关注资产告警、目的地址告警TOP10、告警趋势、告警分布等;点击相应告警，可进行数据下钻。
3.7 Web服务器
Web服务器是网络安全态势感知平台的用户管理操作入口。通过Web服务器，网络安全管理人员可以配置数据采集、分析规则、可视化展现仪表盘等功能，全面控制平台运行，获取最终的安全分析结果。
参考文献
[1] 陈彦德，赵陆文，潘志松，等.网络安全态势感知系统结构研究[J].计算机工程与应用，2014，22（18）：784-785.
[2] 赵梦.基于大数据环境的网络安全态势感知[J].信息网络安全，2016（9）：90-93.
[3] 陈兴蜀，曾雪梅，王文贤，等.基于大数据的网络安全与情报分析[J].工程科学与技术，2017（4）：23.
[4] 管磊.基于大数据的网络安全态势感知技术研究[EB/OL].厦门：第31次全国计算机安全学术交流会，2016-09-01.
[5] 杨露菁，余华.多源信息融合理论与应用[M].北京：北京邮电大学出版社，2006.
[6] 林加润，殷建平，程杰仁，等.网络安全中多源传感器数据融合技术研究[J].计算机工程与科学，2010，32（6）：23-25.
[7] 张云涛，龚玲.数据挖掘原理与技术[M].北京：电子工业出版社，2004.
[8] 李硕，戴欣，周渝霞.网络安全态势感知研究进展[J].计算机应用研究，2010（3）：9.
[9] 陈妍，李京春，李斌，等.网络安全态势感知技术标准化白皮书[R].北京：公安部第三研究所，2020.
关键词：网络态势感知;大数据;网络安全;等级保护
中图分类号：TP309 文献标识码：A 文章编号：1674-1064（2021）04-040-02
DOI：10.12310/j.issn.1674-1064.2021.04.020
随着信息技术的发展，经过等保标准不断的完善、更新和充实，保证了标准的实用性。等级保护2.0标准在原标准的基础上，更加强调安全防护的主动性，注重攻击的主动防御、安全可信、态势感知和全面审计。随着云计算技术、大数据技术和物联网等技术的广泛应用，计算机网络面临的安全威胁越来越多，面对当前严峻的网络安全形势，需要应用先进的信息安全技术理念建设一套网络安全态势感知系统，实现对网络安全风险的实时监测和精准预警，以及对网络安全态势的全面感知和响应，从而提升网络信息安全防护能力。
1 传统网络安全防护存在的困境
在等保2.0时代，为了实现对基础信息网络、云计算平台、大数据集群等系统的全面安全防护，网络安全防护存在着诸多困境，企业信息化安全架构日渐复杂，接入安全设备的类型、产生的网络安全数据越来越多，传统的分析能力不足以支撑现有的安全需求。随着APT为代表的网络威胁的兴起，需要储存与分析的安全信息越来越多，需要以更加敏捷快速的方式对网络威胁做出甄别和响应。为了及时应对大数据环境下的网络安全威胁，有效遏制各类网络攻击，预测网络安全发展态势并采取适当的应急策略，大数据环境下的网络安全态势感知技术亟待研究[1]。
2 基于大数据的网络安全态势感知及关键技术
2.1 网络安全态势感知概念
网络安全态势感知是指在大规模网络环境中，对能够引起网络安全态势发生变化的安全要素进行提取、理解、显示，并预测未来发展趋势[2]。大数据环境的态势感知是指在大规模网络环境及海量数据中整合用户终端、网络链路、应用系统、数据流量等各类感知数据源，采用大数据分析挖掘技术，使用智能算法和安全模型，将看似毫无联系、混乱无序的各类安全数据转化成直观的可视化信息，实现威胁发现、精准预警和态势感知[3-4]。
2.2 网络安全态势感知关键技术
2.2.1 网络数据融合技术
数据融合按照不同的方法可进行多方向的分类，可以按照数据处理的层级分类，可以按照数据模型的结构分类，可以按照数据收集来源的组合情况分类[5]。在网络态势感知领域中，网络数据融合技术更多的是考虑网络态势感知数据的时效性和位置性，因此可以将网络数据融合分成两类，即基于时间和基于空间的数据融合[6]。
2.2.2 数据挖掘技术
数据挖掘是指从大量数据中挖掘出有用的信息[7]，网络态势感知数据的挖掘就是从大量的、异构的、不同数据来源的数据中，挖掘出有利用价值的数据。通过数据挖掘技术能实现网络流量分类、异常流量检测、威胁行为分析等具体应用。
2.2.3 网络态势量化技术
网络态势量化是指将网络安全信息归并融合成分组的一定值域范围内的数值，通过数学方法处理，网络运行状况通过这些数值具体表示。随着网络安全事件发生的频率、数量以及网络受到威胁程度的不同，特征性也会产生相应的变化。这些数值的获得过程，也就是网络态势量化的过程[8]。
2.2.4 可视化技术
网络安全态势感知的数据展示层，主要通过展示界面展示网络运行状态、网络攻击行为、安全事件、整体安全态势等，并能够持续的、多维度的监测信息资产和相关的威胁、脆弱性、安全事件、安全风险等分类态势指标变化情况，同时展示告警信息[9]。
3 基于大数据的网络安全态势感知平台
网络安全态势感知平台通过采集网络内所有IT基础设施数据，利用数据建模、行为识别、关联分析等方法对网络内的所有机器数据进行统一分析，实现对网络攻击行为、安全异常事件、未知威胁的发现和告警。系统提供了网络内信息数据的集中存储、全文检索、关联分析、可视化展现等功能。网络安全态势感知平台整体架构包括如下几个子系统：
3.1 数据采集器
数据采集器是网络安全态势感知平台的数据入口。此模块对外对接网络环境的所有数据。日志采集包括主机和安全设备，以及与之相关的上下文信息（如用户、资产等）。除此之外，随着需求的逐步推进，应用程序日志、数据库日志、操作系统日志、AD/LDAP日志等也需要作为重要的数据源进行收集，为后续的分析、存储提供输入。数据采集器对内和消息队列对接，将采集的数据使用数据融合中的贝叶斯网络和D-S证据理论解析处理后，构造成标准的数据格式，输出到消息队列。
3.2 消息队列
为了适应大数据海量采集的环境，特别是为了适应因为网络流量波动、业务高峰，突发大量攻击等事件造成的数据异常波峰，消息队列子系统用于缓冲采集器收集到的数据，避免数据丢失。消息队列缓存数据后，对接数据分析引擎，提供数据获取接口。数据分析引擎通过消息队列接口获取数据用于分析。
3.3 数据分析引擎
数据分析引擎是网络态势感知安全平台的核心模块，内部通过规则匹配、数据时序分析、算法分析等方法进行网络态势分析。大数据安全分析采用kafka、Elasticsearch、Flink等大数据技术，对日志和流量数据进行统一采集、存储、分析，将海量的安全日志利用智能分析引擎进行威胁检测，转化为少量的安全事件。分析引擎通过结合历史日志和告警进行离线长周期分析，结合异常分析算法发现未知威胁事件。使用大数据技术将告警之间的时序关系、因果关系关联分析，通过当前告警可追溯攻击链模型中与其相关的各个阶段的告警时间，从而实现海量安全事件事后的溯源追查。应用数据挖掘分析模型，在海量的纷繁复杂数据中实时流式分析，定位出安全事件并将标记的安全事件再次输出到消息队列。通过分析后的事件数据被输出到数据存储集群保存下来。因此，数据分析引擎内部对接消息队列，输入原始事件数据，分析后输出安全事件数据到消息队列。同时，对接存储集群，输出通过引擎的事件数据。 3.4 数据存储集群
数据存储集群，保存通过分析的原始时间数据以及告警通知模块输出的告警数据。存储集群提供长时间、大容量的数据存储，被分布式部署在多台服务器上构成集群。集群方式可以提供更高的系统可用性、数据冗余可用性，以及更高的数据写入、检索性能。从搜索分析效率和数据存储量方面考虑，平台采用ElasticSearch技术，能够存储网络环境中各种设备和应用的安全信息，并实现稳定、可靠、快速的实时搜索。存储在集群里的数据可以被Web服务器访问，从而在界面上提供数据检索查询功能。数据存储集群内部对接数据分析引擎子系统，获取原始时间数据。对接告警通知子系统，获取告警数据。对接Web服务器子系统，提供数据查询检索功能。
3.5 告警与通知
告警与通知子系统，通过消息队列获取数据分析引擎对日志的分析后，生成安全告警并提供实时响应机制，对于发生的安全告警能够及时通知运维人员，并触发响应处理流程。响应方式包含但不限于以下方式：邮件、短信、工单、等方式。子系统根据定制配置，可形成邮件或者短信告警。同时，告警数据被输出到数据存储集群存储，支持告警类型、告警级别、告警阶段、告警状态等多个维度的查询。
3.6 安全可视化
网络态势感知安全平台可提供用户网络内整体网絡安全态势感知，展示包括外部态势、内网态势、告警态势。外部态势通过3D全球态势感知展示大屏，将安全事件通过2D和3D的形式展示出攻击源、攻击路径和攻击目标;内网态势展示当前内网告警数量、事件数量以及攻击源、攻击目的TOPN等信息;告警态势展现整个网络的告警态势，包括告警阶段、告警总数、告警级别、最新告警、重点关注告警类型、重点关注资产告警、目的地址告警TOP10、告警趋势、告警分布等;点击相应告警，可进行数据下钻。
3.7 Web服务器
Web服务器是网络安全态势感知平台的用户管理操作入口。通过Web服务器，网络安全管理人员可以配置数据采集、分析规则、可视化展现仪表盘等功能，全面控制平台运行，获取最终的安全分析结果。
参考文献
[1] 陈彦德，赵陆文，潘志松，等.网络安全态势感知系统结构研究[J].计算机工程与应用，2014，22（18）：784-785.
[2] 赵梦.基于大数据环境的网络安全态势感知[J].信息网络安全，2016（9）：90-93.
[3] 陈兴蜀，曾雪梅，王文贤，等.基于大数据的网络安全与情报分析[J].工程科学与技术，2017（4）：23.
[4] 管磊.基于大数据的网络安全态势感知技术研究[EB/OL].厦门：第31次全国计算机安全学术交流会，2016-09-01.
[5] 杨露菁，余华.多源信息融合理论与应用[M].北京：北京邮电大学出版社，2006.
[6] 林加润，殷建平，程杰仁，等.网络安全中多源传感器数据融合技术研究[J].计算机工程与科学，2010，32（6）：23-25.
[7] 张云涛，龚玲.数据挖掘原理与技术[M].北京：电子工业出版社，2004.
[8] 李硕，戴欣，周渝霞.网络安全态势感知研究进展[J].计算机应用研究，2010（3）：9.
[9] 陈妍，李京春，李斌，等.网络安全态势感知技术标准化白皮书[R].北京：公安部第三研究所，2020.