论文部分内容阅读
海量的Internet信息资源已经成为获取信息的重要来源，越来越多的人使用搜索引擎搜索网络来获取所需要的信息。但是，搜索引擎主要是按关键词来进行检索，返回结果中经常包含大量的无关信息，其查准率难以令人满意。网页自动分类技术可以在较大程度上对网页数据库进行有序地组织，改善目前搜索引擎的缺陷，方便用户准确定位所需要的信息，已成为一项具有较大实用价值的关键技术。本文的目标是在研究Internet信息特点的基础上，针对目前网络信息获取和检索的缺陷，对网页自动分类技术进行研究和探讨，重点对关键技术网页表示和分类算法进行了研究。
首先，在介绍研究背景、相关技术、研究意义、研究现状的基础上，对网页自动分类技术的基础，文本自动分类技术以及中文分词，进行了比较全面的介绍和分析。然后总结网页特点，同时抽样统计了网页标记对主题类别的分类贡献，分析特征表示模型及表示过程并总结网页表示的研究情况。还研究和探讨维数削减的概念、途径、网页特征的选择方法和抽取方法以及不同网页特征选择方法之间的比较。以及介绍基于统计学习的自动分类算法，分析和比较常用的网页自动分类算法，提出k近邻算法改进思想。
其次，为了分析网页标记源的主题分类表达能力，设计了一个抽样调查方案进行统计分析。方案分经济和教育两个类别，各随意抽取50篇网页进行统计数据分析。可以得到结论，网页的标题标记、加重标记、黑体字标记、meta标记的主题表达能力比较强，分类干扰较少；标题标记使用的情况比较好，其余标记没有被充分利用。超链接标记，其引用动机十分广泛，分类噪声影响远大于其分类作用，因此在分类时一般不考虑超链接标记。
最后，对K近邻分类算法进行分析，K近邻算法的优点是算法比较简单，容易实现，分类效果好；缺点是特征项相互独立，影响分类精度，在分类阶段的时间开销太大。已有的K近邻分类的改进算法，主要针对特征项相互独立问题，并没有涉及时间开销的问题。在此基础上，提出一种算法改进思想，结合简单聚类算法，比如单链聚类方法，在不降低分类精度的情况下，将分类阶段大部分的时间开销转移到训练阶段。对改进算法进行分析讨论，其在保持分类精度和降低时间开销方面起到一定的作用。