论文部分内容阅读
1 数据挖掘技术
1.1数据挖掘技术的定义
所谓数据挖掘,就是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。数据挖掘与传统分析工具的不同点主要在于基于数据发现的方法不同,数据挖掘更侧重于运用模式匹配和一些算法来决定数据之间的重要联系。事实上,数据挖掘算法是极为关键的一环,因为它的好坏将直接影响到数据挖掘结果的好坏。
1.2数据挖掘过程的内容
数据挖掘过程是多个步骤相互连接、反复进行人机交互的过程。主要包括以下几个方面内容:
（1）明确数据挖掘的目标:确立某个应用领域,包括应该具备的预先知识和目标。
（2）界定合适范围:选择一个数据集或在多数据集的子集上作为目标数据集进行聚焦。
（3）对数据进行预处理:去除噪声或无关数据,去除空白数据域,考虑时间顺序和数据变化等。
（4）进行数据转换:找到数据的特征表示,用维变换或转换方法减少有效变量的数目或找到有用的数据。
（5）具体数据挖掘算法的选择:选择某个特定数据挖掘算法(如汇总、分类、回归、聚类等)用于搜索数据中的模式。
（6）作出原理性解释:解释某个发现的模式,去掉多余的不切题意的模式,转换某个有用的模式,写出合理的文件,使用户明白。
（7）寻求发现:把这些挖掘出来的信息结合到运行系统中,归纳总结并证明这些信息是有用的。用预先、可信的知识检查这些信息并解决其中可能的矛盾。
2 网络安全问题
近年来随着互联网的迅速普及,网络逐渐成为用户完成相关业务的非常重要的、不可或缺的手段。诞生于网络经济基础之上的电子商务,无论是在国外还是国内,都得到了长足发展。另一方面,当前网络经济所面临的网络安全现状不容乐观。网络与信息系统自身存在的缺陷、脆弱性以及面临的威胁,使得网络安全已经成为国家与国防安全的重要组成部分,同时也是制约网络经济进一步发展的重要瓶颈。金山公司发布的《中国互联网2006年度信息安全报告》显示,2006年,电脑病毒呈爆炸式增长,共截获新增病毒样本24万多种,几乎是2003年至2005年间病毒总和的三倍。2007年度中国公安部全国信息网络安全状况调查的结果显示,信息网络安全事件的主要类型是:感染计算机病毒,收到垃圾电子邮件,遭到网络扫描、攻击和网页篡改等。根据Riesearch艾瑞市场咨询最新发布的《2007年中国个人网络安全研究报告》数据显示,以盗号木马、黑客后门和下载木马为代表的木马程序已经成为大多数职业病毒生产者的生财工具,不管是网银中真实的钱,还是虚拟财产,都成为木马程序瞄准的对象。网络信息安全问题,无论是理论上还是技术上,都是不可能完全解决的,因此,能不能将网络信息安全防范技术与其他技术相结合,以现有的历史数据为基础,提升网络信息安全防范的针对性、时效性和有效性呢?答案是肯定的,这种技术就是Web数据挖掘技术,Web数据挖
掘技术为提升网络信息安全防范绩效提供了可能性与可行性。
3 基于Web数据挖掘的网络信息安全防范模型
Web数据挖掘作为网络信息安全防范的综合分析工具,运行在网络的用户数据库和数据仓库之上,包括以下功能模块: ①过滤器:用来从Web数据库中抽取相关数据,进行二义性分析,消除不一致性。②挖掘综合器:是一个挖掘驱动引擎。根据挖掘要求和挖掘方法的知识库到Web数据挖掘算法库中去选择合适的挖掘方法,并且使用该方法去执行挖掘任务。③方法选择专家系统及知识库:它是Web数据挖掘的“大脑”,是一个规则集合,能够根据不同的挖掘要求来选择最有效的挖掘算法或几种算法的序列组合,并且随着应用的深人,该知识库可以不断
融入新的规则,以增加专家系统的智能性。④Web数据挖掘算法库:是一个数据挖掘分析方法的综合性算法库。⑤用户评估界面:提供一个和分析人员交互的友好界面。如果本次的挖掘结果不能满足分析人员的需要或者还有进一步的猜想,就可以再次从这里输人挖掘需求。⑥方法驱动模块:它利用挖掘出来的有益信息,去进行相应统计与分析的工作。据此分析,可以构建一种基于Web数据挖掘的网络信息安全防范模型,如图。
该模型以Web数据挖掘模块为中心,对多个数据源的信息进行处理,是一个将用户数据、信息转化为知识的过程。
4 防范模型的应用
4.1恶意邮件检测
随着信息技术的发展,许多新生的恶意程序代码是以电子邮件的附件形式出现的,对于这种恶意程序代码,目前通常的做法是通过邮件过滤器结合病毒扫描器来检测,而病毒扫描器都是基于签字(特征码)进行检测恶意代码的,对于未知的恶意程序没有相应的特征码,因此防范的代价高昂,而且效率较低。建立在W eb数据挖掘技术基础上的邮件过滤系统,以电子邮件为检测对象,通过对电子邮件样本进行分析,获得最能区分出是否为恶意邮件的特征模式,可以自动发现新生的恶意程序,再以该模式为基础,采用朴素贝叶斯分类器和增强型方法进行机器学习,最终获得一个邮件过滤器,过滤掉恶意邮件,得到有用邮件。
4.2 病毒预警
随着因特网的普及,尤其是宽带网的盛行,计算机病毒也在向网络化方向发展,这种病毒就是所谓的蠕虫病毒。传统的杀毒技术都是根据已知病毒的特征码对病毒进行识别和查杀,但对新出现的病毒就无能为力了,因此传统的杀毒技术具有滞后性。Web数据挖掘技术为病毒预警提供了可行性,利用Web数据挖掘技术来建立蠕虫病毒预警系统,可以实时检测网络上的异常连接行为,进而能发现蠕虫病毒的踪迹,尤其是对刚出现的蠕虫病毒具有预警作用,使网络管理员在这种蠕虫病毒大规模爆发之前能采取相应的措施,避免造成大的损失。
参考文献：
[1]张琴.网络安全事件频频发生用户损失谁来承担[N] 经济参考报,2007207205.
[2]王比学.我国信息网络安全事件持续多发今年达6517%[N].人民日报,2007210208.
[3]iResearch:中国个人网络安全市场凸显四大发展趋势[EB/OL].www.iResearch.com.cn/Consulting/onlinesecurity/DetaiNlews.asp?id=6884
[4]SE IFERT J W.Data m ining and the search for security:chal2lenges for connecting the dots and databases[J].GovernmentInformation Quarterly,2004(21):4612480.
[5]涂乘胜,鲁明羽,陆玉昌.W eb数据挖掘研究综述[J].计算机工程与应用,2003,39(10):90293.
1.1数据挖掘技术的定义
所谓数据挖掘,就是从大量的数据中,抽取出潜在的、有价值的知识(模型或规则)的过程。数据挖掘与传统分析工具的不同点主要在于基于数据发现的方法不同,数据挖掘更侧重于运用模式匹配和一些算法来决定数据之间的重要联系。事实上,数据挖掘算法是极为关键的一环,因为它的好坏将直接影响到数据挖掘结果的好坏。
1.2数据挖掘过程的内容
数据挖掘过程是多个步骤相互连接、反复进行人机交互的过程。主要包括以下几个方面内容:
（1）明确数据挖掘的目标:确立某个应用领域,包括应该具备的预先知识和目标。
（2）界定合适范围:选择一个数据集或在多数据集的子集上作为目标数据集进行聚焦。
（3）对数据进行预处理:去除噪声或无关数据,去除空白数据域,考虑时间顺序和数据变化等。
（4）进行数据转换:找到数据的特征表示,用维变换或转换方法减少有效变量的数目或找到有用的数据。
（5）具体数据挖掘算法的选择:选择某个特定数据挖掘算法(如汇总、分类、回归、聚类等)用于搜索数据中的模式。
（6）作出原理性解释:解释某个发现的模式,去掉多余的不切题意的模式,转换某个有用的模式,写出合理的文件,使用户明白。
（7）寻求发现:把这些挖掘出来的信息结合到运行系统中,归纳总结并证明这些信息是有用的。用预先、可信的知识检查这些信息并解决其中可能的矛盾。
2 网络安全问题
近年来随着互联网的迅速普及,网络逐渐成为用户完成相关业务的非常重要的、不可或缺的手段。诞生于网络经济基础之上的电子商务,无论是在国外还是国内,都得到了长足发展。另一方面,当前网络经济所面临的网络安全现状不容乐观。网络与信息系统自身存在的缺陷、脆弱性以及面临的威胁,使得网络安全已经成为国家与国防安全的重要组成部分,同时也是制约网络经济进一步发展的重要瓶颈。金山公司发布的《中国互联网2006年度信息安全报告》显示,2006年,电脑病毒呈爆炸式增长,共截获新增病毒样本24万多种,几乎是2003年至2005年间病毒总和的三倍。2007年度中国公安部全国信息网络安全状况调查的结果显示,信息网络安全事件的主要类型是:感染计算机病毒,收到垃圾电子邮件,遭到网络扫描、攻击和网页篡改等。根据Riesearch艾瑞市场咨询最新发布的《2007年中国个人网络安全研究报告》数据显示,以盗号木马、黑客后门和下载木马为代表的木马程序已经成为大多数职业病毒生产者的生财工具,不管是网银中真实的钱,还是虚拟财产,都成为木马程序瞄准的对象。网络信息安全问题,无论是理论上还是技术上,都是不可能完全解决的,因此,能不能将网络信息安全防范技术与其他技术相结合,以现有的历史数据为基础,提升网络信息安全防范的针对性、时效性和有效性呢?答案是肯定的,这种技术就是Web数据挖掘技术,Web数据挖
掘技术为提升网络信息安全防范绩效提供了可能性与可行性。
3 基于Web数据挖掘的网络信息安全防范模型
Web数据挖掘作为网络信息安全防范的综合分析工具,运行在网络的用户数据库和数据仓库之上,包括以下功能模块: ①过滤器:用来从Web数据库中抽取相关数据,进行二义性分析,消除不一致性。②挖掘综合器:是一个挖掘驱动引擎。根据挖掘要求和挖掘方法的知识库到Web数据挖掘算法库中去选择合适的挖掘方法,并且使用该方法去执行挖掘任务。③方法选择专家系统及知识库:它是Web数据挖掘的“大脑”,是一个规则集合,能够根据不同的挖掘要求来选择最有效的挖掘算法或几种算法的序列组合,并且随着应用的深人,该知识库可以不断
融入新的规则,以增加专家系统的智能性。④Web数据挖掘算法库:是一个数据挖掘分析方法的综合性算法库。⑤用户评估界面:提供一个和分析人员交互的友好界面。如果本次的挖掘结果不能满足分析人员的需要或者还有进一步的猜想,就可以再次从这里输人挖掘需求。⑥方法驱动模块:它利用挖掘出来的有益信息,去进行相应统计与分析的工作。据此分析,可以构建一种基于Web数据挖掘的网络信息安全防范模型,如图。
该模型以Web数据挖掘模块为中心,对多个数据源的信息进行处理,是一个将用户数据、信息转化为知识的过程。
4 防范模型的应用
4.1恶意邮件检测
随着信息技术的发展,许多新生的恶意程序代码是以电子邮件的附件形式出现的,对于这种恶意程序代码,目前通常的做法是通过邮件过滤器结合病毒扫描器来检测,而病毒扫描器都是基于签字(特征码)进行检测恶意代码的,对于未知的恶意程序没有相应的特征码,因此防范的代价高昂,而且效率较低。建立在W eb数据挖掘技术基础上的邮件过滤系统,以电子邮件为检测对象,通过对电子邮件样本进行分析,获得最能区分出是否为恶意邮件的特征模式,可以自动发现新生的恶意程序,再以该模式为基础,采用朴素贝叶斯分类器和增强型方法进行机器学习,最终获得一个邮件过滤器,过滤掉恶意邮件,得到有用邮件。
4.2 病毒预警
随着因特网的普及,尤其是宽带网的盛行,计算机病毒也在向网络化方向发展,这种病毒就是所谓的蠕虫病毒。传统的杀毒技术都是根据已知病毒的特征码对病毒进行识别和查杀,但对新出现的病毒就无能为力了,因此传统的杀毒技术具有滞后性。Web数据挖掘技术为病毒预警提供了可行性,利用Web数据挖掘技术来建立蠕虫病毒预警系统,可以实时检测网络上的异常连接行为,进而能发现蠕虫病毒的踪迹,尤其是对刚出现的蠕虫病毒具有预警作用,使网络管理员在这种蠕虫病毒大规模爆发之前能采取相应的措施,避免造成大的损失。
参考文献：
[1]张琴.网络安全事件频频发生用户损失谁来承担[N] 经济参考报,2007207205.
[2]王比学.我国信息网络安全事件持续多发今年达6517%[N].人民日报,2007210208.
[3]iResearch:中国个人网络安全市场凸显四大发展趋势[EB/OL].www.iResearch.com.cn/Consulting/onlinesecurity/DetaiNlews.asp?id=6884
[4]SE IFERT J W.Data m ining and the search for security:chal2lenges for connecting the dots and databases[J].GovernmentInformation Quarterly,2004(21):4612480.
[5]涂乘胜,鲁明羽,陆玉昌.W eb数据挖掘研究综述[J].计算机工程与应用,2003,39(10):90293.