基于图像的文本分类算法研究

• 作 者: 蔡景景
• 机 构: 北京工业大学
• 出 处: 北京工业大学
• 发表日期: 2011年期
• 关键词: 文本分类 K-均值 混淆矩阵 图像分类 聚类算法

随着网络技术和数字图书馆的迅猛发展,文本分类已成为处理和组织大量文档数据的关键技术。文本分类方法主要包括两大类:非监督的自动聚类算法和监督的文本分类方法。同时,随着数据量的大量增加,现有的文本分类方法在效率和精度两个方面都面临着新的考验。快速、精确地进行文本分类,变得越来越重要。　　
本文通过比较文本分类与图像分类的相似性,提出了把大规模文本集合转化为图像的分类算法思想。本算法能快速、精确地进行文本分类,且占用较小的内存空间,对大规模文本分类特别适用,并为拓展文本分类算法提供了一种新的思路。同时,该算法把文本分类过程分为预处理和分类两个独立的过程,有利于实验室算法的研究。最后,根据两大类文本分类算法:监督分类和非监督分类的各自优点,结合非监督分类的无人工干预的自动化和监督分类的精度高的特点,提出了一种监督分类和非监督分类相结合的分类方法:K-KNN算法,本算法以K-均值非监督聚类算法和KNN监督分类算法为基础,充分利用K-均值聚类的自动性,和KNN分类算法的高精度性,实现了大规模文本的自动化监督分类。　　
在分类质量评价方面,本文在引入图像的概念以后,也引入了图像分类中常用的混淆矩阵的分类结果评价方法,与传统的评价准则(准确率和召回率)相比,各类之间的错分情况一目了然,对指导改进文本分类算法,特别是关键词选取等方面,有着非常重要的实际意义。