论文部分内容阅读
伴随网络技术的迅猛发展,大量的数据、信息如雨后春笋般竞相出现在网络,无纸化办公系统、海量的电子形式的文本文档更是越来越常见。面对如此庞大的信息,怎么样高效准确的获取有用的信息是亟待解决的问题,文本分类技术正好可以解决此类问题。当前的分类技术应用于英文文本已经可以取得比较理想的效果,但中文有其特殊性,直接将分类算法运用于中文文本,效果并不理想。针对目前研究的空缺,本文观察中文文本的特点,并深入分析与总结,发现对中文文本进行分类时,语义因素的作用不容忽视,它要贯穿整个分类流程。本文对文本进行预处理后,在特征选择时充分考虑语义关联在自然语言处理中的绝对优势,利用这一优势在词条之间建立联系,从而修正TFIDF算法,并重新定义了权重值的计算公式。修改的目的是避免遗漏、舍弃出现频率小但对分类可以提供关键信息的词条,希望获取更为准确的特征词,进而提高下一步分类的准确率。基于修改后的特征选择算法,本文进一步对常见且实现简单的传统KNN文本分类算法进行语义分析以及改进,重点在于分析词条内部的语义关联,确定每个特征词所归属的组别,即新算法借用了特征提取中被分入各个组别的那些特征词。这些特征词本质上是从属于同一类别的,将其归入同一组中,则同一组的特征词构建的集合为组特征,可以代表同一类别的特征。下一步开始求算测试文本与每一个组特征之间的相似程度,从而省去了测试文本与所有的训练文本逐一计算相似度的过程,大大减少了计算量,然后对测试文本与组特征的相似度进行排序选出可能归属的类别,进而缩小测试文本所需要判断的类别数,最终实现中文文本的分类。实验证明,新算法在文本分类的准确率、召回率、分类时间上均有比较明显的提高,由此说明了改进算法的有效性。在本文的研究成果及实验中,可以明显看出,语义因素在特征提取、分类算法中的重要性。灵活运用词语内在的语义联系在特征提取中的优势以及将语义融入χ2统计量的计算公式中,可以大大提升特征词选择的准确率,明显缩减了KNN算法用来分类所需的计算量及时间。因此本文的研究是具有一定理论指导和实践意义的。