中文短文本分类的相关技术研究

• 作 者: 崔争艳
• 发表日期: 2011年期
• 关键词: 短文本 分类 字共现 近似域

随着搜索引擎、电子邮件、微型博客和观点评论等短文本信息在互联网范围内的大量出现,有关短文本的相关研究逐步受到人们的关注。目前的文本分类技术多是针对长文本进行,虽然性能较好但由于短文本字数少、数量庞大,并多数依存于网络,并不一定适用。国内针对短文本的研究多集中在语义扩展、特征处理等方面,并没有特别深入系统的研究。本文对短文本的涵盖范围、特点及研究领域进行了详细的分析研究,并对相关的研究现状和关键技术进行介绍。针对短文本特征稀疏等特点,考虑到传统的分词会因为词汇量稀少而丢掉重要的语义信息,本文采用“字”作为短文本的特征进行表示,并结合共现分析概念提出了基于字共现的特征提取方法。该方法在传统词频统计的基础上加入文本中字与字之间的共现信息量,使得特征字能够更全面地表达出短文本语义信息,通过实验证明该方法能够明显提高短文本的分类准确率。有实验证明在诸多分类算法中,K近邻(KNN)和支持向量机(SVM)对短文本的分类效果最好。由于短文本数量庞大,本文采用KNN分类算法并加以改进。因KNN算法在分类前需要把所有训练文本存储起来与待测样本进行比对,计算量比较大,本文提出了一种改进的基于近似域KNN分类方法。该方法事先对训练集中各类别进行区域划分,确定类别中心域和近似域的范围,然后根据待测样本到各类中心向量之间的距离,判定样本在各个类别中的分布情况。只针对处于类别近似域内的样本再利用KNN算法进行分类,缩小KNN的搜索范围,进而提高分类的速度和准确率。同时,为减少样本误判率,对处于各类别边界区域的样本,在对其进行类别权重判断时设定边界参数,加大类别权重,这样使得边界模糊区域样本分类正确率有所提高。