【摘 要】
：
大数据时代下,传统的异常流量检测采用静态规则匹配的方法,已然不能满足多变复杂的网络环境。面向更加庞大、更加复杂的网络环境,网络安全数据特征已不单单是“非黑即白”的数据描述。面对如今海量复杂数据产生信息的“波动性”和“不确定性”的特点,模糊集理论被广泛应用于数据特征提取时的约束条件,令提取的特征更加有多样性与全面性,使后续的数据分析预测更全面具体、更准确。因此,本文采用机器学习中的SVD（奇异值分解
论文部分内容阅读
大数据时代下,传统的异常流量检测采用静态规则匹配的方法,已然不能满足多变复杂的网络环境。面向更加庞大、更加复杂的网络环境,网络安全数据特征已不单单是“非黑即白”的数据描述。面对如今海量复杂数据产生信息的“波动性”和“不确定性”的特点,模糊集理论被广泛应用于数据特征提取时的约束条件,令提取的特征更加有多样性与全面性,使后续的数据分析预测更全面具体、更准确。因此,本文采用机器学习中的SVD（奇异值分解）和XGBoost（极限梯度提升树）方法进行异常检测,将异常检测分为数据预处理和数据分析两个部分,在数据预处理阶段提出一种基于模糊SVD的流形约束特征选择方法,在数据分析部分提出基于一种非线性加权XGBoost异常检测分析方法。本文的目的是研究机器学习方法在基于异常的入侵检测系统中的适用性。网络流量数据由于其内部结构复杂,数据体量巨大、种类繁多,并且存在冗余数据,在进行数据挖掘和信息处理时,会有巨大的计算量,从而降低分析处理的效率,因而需要对高维网络数据进行降维处理。基于此,本文提出一种基于模糊SVD的流形约束特征选择方法,主要解决网络安全高维数据的降维问题,通过将直觉犹豫模糊集与SVD结合,可以快速求解出有序最优特征子集,并在其基础上进行有监督降维,降维投影之后能够实现同类数据聚集,不同类数据分散的效果。同时通过对高维数据进行降维操作,可以有效降低数据量的大小,从而避免过大的计算量,并深入挖掘网络流量数据的本质。针对于解决异常检测模型的分类准确性较低的问题,本文在考虑有一部分网络异常数据特征分布率极低,却能在数据分析时提供极大贡献的基础上,提出一种基于非线性加权XGBoost异常检测方法。该方法首先将得到的有序最优特征子集进行非线性加权到目标函数的设计中,建立非线性加权损失函数,平衡有巨大落差样本占比的特征间的分析贡献权重;另外为了减少计算量并提高计算速度,在XGBoost的决策树构建中,随机选取训练集的一部分。通过对XGBoost方法的改进,本文提出的基于一种非线性加权XGBoost异常检测分析方法,可以有效提高异常检测的效率。最后,通过仿真实验证明了本文所提出的基于模糊SVD的流形约束特征选择方法与其他传统特征提取方法相比大大加快了特征提取的计算速度,嵌套在流形约束下显示了不同类别数据上进行数据分离的优越性,以及所提出的基于非线性加权XGBoost异常检测方法在提高异常检测效率上的有效性。通过数据预处理阶段和数据分析这两部分的实验分析,证明本文所提的方法可以有效提高异常检测的准确率。
其他文献
根据2015年国务院政府报告,所有市场参与者必须首先加大其普惠金融发展力度,才能共享金融服务。2019年的中国普惠金融发展报告指出,普惠金融重点领域供给持续增加,小微企业金融服务增量、扩面、降本、控险平衡发展,金融支持乡村振兴力度不断加大,金融脱贫攻坚精准发力,各项服务可得性进一步提升。小微企业对活跃市场经济及革新市场体系有很大程度的影响,不仅助力经济增长,还能一定程度盘活市场就业局面、创造全新的
随着复合材料的快速发展,各国逐渐意识到将复合材料应用于船舶装备制造中的诸多益处。板和加筋板作为舰船的基础结构单元具有十分重要的研究意义,在日常工作中,由板或加筋板构成的船体板架结构不单受到船上动力装置如发动机等运转产生的振动荷载的作用,同时还随时可能受到鱼雷等武器爆炸产生的冲击波载荷的威胁。两种不同的载荷分别考核了结构的振动响应特性以及抗冲击响应特性。对结构同时进行振动及抗冲击特性分析,并根据这两
铁路的安全稳定对我国经济的发展起着重要的作用,由钢轨缺陷导致的交通事故对生命安全和社会财产造成了极为严重的后果。因此研究准确且高效的钢轨表面缺陷检测技术,在事故发生之前检测出缺陷并及时进行维修,具有重要的现实意义。利用图像处理技术进行钢轨表面缺陷检测的方法,具有准确率高、非接触性等优点,成为当今钢轨表面缺陷检测方面的一种重要方法。本文在综合考虑检测准确率和分类速度的基础上,解决现有钢轨表面缺陷检测
新时期以来,随着经济社会全面快速发展,各种新兴违法犯罪和社会治安管理问题层出不穷,公安机关面临的维护国家政治安全和社会治安大局持续稳定的任务日益繁重,警务人员长期处在高强度、高压力的工作状态下,疲惫不堪。加之在服务型政府的构建过程中,民众对公安工作提出了新的更高的要求,公安机关要想做好新时期维护国家安全、确保社会稳定、服务人民群众各项工作,必须进一步提升队伍综合素质,最大程度的发挥现有警务人员的工
振动能量在机械结构中多是以弹性波的形式存在,并且存在低频、宽带等特点。针对上述特点,本文设计了一种压电超材料结构对宽带低频的振动能量进行收集,通过研究压电装置的输出开路电压、输出功率等参数来分析其能量收集能力,并探究其在实际工程应用中的可能性。本文的主要研究工作如下:分析了压电超材料能量收集装置的工作原理并对能量收集装置的结构进行设计,建立了压电超材料结构内弹性波传播的模型,针对这一模型,基于Ra
近年来,随着社交网络服务平台的日益增加,用户可以选择性地同时参与多个社交网络并享受其中的服务,社交网络的应用服务类型众多,例如朋友推荐。为了更好地实现服务,需要建立不同社交网络中的虚拟用户与现实世界中用户的映射关系,即用户锚链接预测问题。由于用户特征属性的提取质量会影响锚链接预测的效果,因此本文为了更好地解决锚链接预测问题,对嵌入算法进行研究,并提出面向稀疏图的Deep Walk嵌入算法和基于增量
随着社会的发展,电能应用越来越广泛,为了确保变电站的安全运行,必须对变电站里面的设备及时检查,但是变电站工作条件恶劣且对人身安全有威胁,开发变电站巡检机器人来代替人类从事变电站巡检工作一直是国内外的热门研究课题。本课题来自哈尔滨工程大学机电工程学院发展基金,目的在于研制一款能够检测变电站内部设备上的仪器仪表、进行应急操作的巡检机器人。本文的主要研究内容如下:首先阐述了国内外变电站专用机器人的研究现
声学事件检测（Acoustic Event Detection,AED）广泛应用在机器的环境感知、多媒体信息检索等领域,是促进社会智能化发展的重要技术手段,具有重要的研究意义和实际应用价值。传统的声学事件检测方法主要基于传统机器学习算法,需要人工完成复杂的特征工程。此外,目前已知的声学事件检测数据集仍存在数据量不足,事件类别不平衡的问题,基于深度学习的声学事件检测方法仍旧没有达到理想的检测性能。本
圆板结构因其独特的几何形状,广泛出现于生产实际中的各个场景,故以其为基础进行振动控制研究十分具有意义。声学黑洞结构是一种厚度以特定幂律函数形式变化的变厚度结构,在其中传递的弹性波的波速会随着厚度变化逐渐减小,理想情况下可以减小至0,对应可以聚集在结构尖端且不发生反射,进而实现能量聚集以及振动控制。因该结构的分段变厚度特性使建模难度有一定增加,同时适用于该结构位移函数的表达形式也有待建立,所以目前缺
近年来,随着网络信息技术应用的不断发展和进步,各种信息系统储存并积聚了各类丰富的数据。但是,数据集里包括了大量的个人隐私,在数据发布的过程中如果不采取一定的保护措施,随着数据集的发布和共享,可能会导致个人信息的泄露,数据的隐私保护问题越来越引起人们的重视。为了能够提供给数据研究者更多的有效数据,同时保护个人的隐私信息,既能保证数据的隐私性又能确保数据可用性的数据发布方法具有重要的理论价值和实际意义