论文部分内容阅读
随着互联网的快速发展与搜索引擎的广泛使用，网页数据已经成为各种应用与研究的重要数据源之一。然而由于网页的特殊性，它所包含的信息并非都是各种应用所必需，例如：广告，导航条等。它们的存在会对各种应用产生不利影响。此外，网页检索结果中经常出现内容相同的冗余页面的问题。所以在网页数据的应用过程中网页净化、网页去重是一个基础问题，也是目前研究的一个热点问题。所以很有必要对网页净化和网页去重领域进行总结，以便更好地深入研究。从网页净化、去重的必要性出发，对它们进行定义和分类，概述多种网页净化、去重的方法和框架。并对其