文本分类中TF-IDF权重计算方法改进

• 作 者: 隗中杰
• 机 构: 中国人民公安大学信息技术与网络安全学院
• 出 处: 软件导刊
• 发表日期: 2018年12期
• 关键词: 文本分类 密度 TF-IDF 特征权重 分布
• 基金项目: 公安技术交流培训计划项目(2018)

TF-IDF是文本分类中计算特征权重的经典方法,但其本身并未考虑特征词在文档集合中的分布情况,从而导致类别区分度不大。通过计算特征词类内密度与特征词在样本中均匀分布时整体平均密度的比值对IDF函数进行改进。实验结果表明,改进后的TF-IDF考虑了特征词内分布与在整体文档集中的分布,提升了对类别的区分能力,有效改善了文本分类效果。