应用特征项分布信息的信息增益改进方法研究

• 作 者: 杨玉珍 刘培玉 朱振方 邱烨
• 机 构: 山东师范大学信息科学与工程学院,
• 出 处: 山东大学学报(理学版)
• 发表日期: 2009年11期
• 关键词: 特征项 特征选择 信息增益 类内离散度 类间离散度 算法 文本自动分类 文本 封闭测试 不平衡

在特征项分布不平衡的情况下,传统信息增益算法的分类性能会急剧下降,针对此缺陷提出了一种利用特征项分布信息来改进信息增益公式的计算方法。通过计算特征项分布信息来判定特征项是否存在不平衡性,并利用此信息来平衡特征项不出现时对分类精度的影响。通过实验验证,改进后的计算方法整体上比传统的信息增益算法具有更好的性能。

In the case of unbalanced distribution of features, the classification performance of traditional information gain algorithm will decrease sharply. A calculation method to improve the information gain formula by using the distribution of feature items is proposed. By calculating the distribution information of feature items, we can determine whether there is imbalance in the feature items, and use this information to balance the impact on the classification accuracy when the feature items do not appear. Through experimental verification, the improved calculation method as a whole has better performance than the traditional information gain algorithm.