论文部分内容阅读
随着互联网应用逐渐普及,人们通过互联网传递更多重要信息,但是信息泄露给人们工作生活带来的损失也会随之增加,所以网络安全成为了各国细信息技术领域的重点研究方向之一,同样各国政府部门、企业和高校也越来越重视网络安全。《2015年数据泄露损失研究》内揭露出,近两年来每起数据泄露事件的平均损失总额增长了23%,达到379万美元,同时泄露事件的发生总量略有下降,而且每起泄露事件所暴露的身份中位数减少了约三分之一达到4885个,这表明每起泄露事件中被盗取的身份具有更高的价值或敏感性。而2016年中国网民因数据泄漏引发的经济损失高达915亿元。由此可见,网络安全是科技与经济发展的重要保障,而且多数由于网络安全而发生的数据泄露事件都未能取证和追究法律责任,导致全球范围内的黑色产业日益猖獗。因为Web应用的普及度在近几年内逐渐增加,Web应用正在逐渐替代很多传统业务,更多业务可在Web应用上处理,所以Web页面会涉及到更多的敏感信息,例如SQL注入、暴力破解或撞库攻击就会导致数据库的直接泄露,跨站脚本(XSS)攻击能够直接伪造登录状态,国内外学者已经对此进行了大量研究分析,虽然在市面上也有许多安全防范工具,而真正有威胁的安全事件发生在这些安全工具所不能覆盖的区域。同时任何类型的服务器都会产生日志,且都有规范的格式,从而可以提出普适的分析方法,但是Web日志分析安全软件却相对较少。网络入侵者在攻击成功后首先都要删除日志信息来抹除自己入侵的痕迹,这也为事后的调查和取证带来了一定的困难。由于现在不用设备产生的网络日志有规范化和未规范化的,这就要求对于日志进行清洗、去重等预处理操作。另外,现有的日志分析手段的效率和检测率也比较低下,所以需要对日志分析的方法进行提高,除去传统的基于规则库的审计方法外还须使用更先进的基于数据挖掘的审计方法使得审计的效果更佳。但是一系列的网络攻击行为会在很多网络设备上留下痕迹,通常不能删除干净,所以可利用残留的日志信息发现黑客的行踪。本文通过对现有的开源和商用的日志安全审计系统的分析,并结合当前Web安全威胁形势,明确日志安全审计系统的功能需求,最终对基于Web日志分析的安全审计系统进行了设计和实现,主要工作包括以下几个方面:(1)详细分析研究了各种日志审计技术如基于规则库、基于数据挖掘、基于免疫系统和基于神经网络的审计方法的优劣,并在设计的系统的日志分析模块采用基于数据挖掘审计方法。(2)研究手工分析Web日志的方法,设计了用于快速审计的规则库,加入新型网络攻击特征,提高准确率。(3)针对Web日志的特点改进了关联规则算法Apriori算法和FP-Growth算法,使得规则库可以自主根据收集到的日志进行规则挖掘并更新模式库,并以引入主从属性作为判断依据,提取出更加准确的日志规则特征。(4)设计了基于Web日志分析的安全审计系统,系统的三个主要模块:日志采集模块、日志分析模块和审计结果展现模块,并从整体结构到每个模块介绍了设计的理由。采用分布式采集方式进行日志文件的采集和归一化处理,这可以降低传统集中式采集的通信压力和集中式服务器的数据处理压力。另外日志分析引擎模块采用优化算法进行设计,并结合了两种算法的优点互为补充。(5)使用Python和C++语言实现系统,并对提出的各模块的功能进行验证,同时为了增强用户的便捷性用htm15技术编写了 Web界面,支持更多离线分析功能,并对整个系统的功能和性能进行测试。