论文部分内容阅读
文本的形式化表示一直是文本检索、自动文摘和搜索引擎等信息检索领域关注的基础性问题。向量空间模型（Ｖｅｃｔｏｒ Ｓｐａｃｅ Ｍｏｄｅｌ）中的ｔｆ．ｉｄｆ文本表示是该领域里得到广泛应用并且取得较好效果的一种文本表示方法。词语在文本集合中的分布比例量上的差异是决定词语表达文本内容的重要因素之一，但现在ｔｆ．ｉｄｆ方法无法把握这一因素。针对这个问题，本文引入信息论中信息增益的概念，提出一种对ｔｆ．ｉｄｆ的改进方法ｔｆ．ｉｄｆ．ＩＧ文本表示方法。该方法将词语的信息增益作为一个文本表示的一个因子，来衡量词语在文本