论文部分内容阅读
随着Internet的迅速发展,网络上的资源日趋丰富,通用搜索引擎已经不能满足人们对个性化信息检索服务日益增长的需要,面向主题的搜索引擎应运而生,提供信息分类更细致精确的网络搜索服务。主题爬虫是面向主题搜索引擎的一个关键组成部分。主题爬虫根据用户定义的目标主题,智能化地从Web上收集主题相关的网页,能够快速、准确地得到网络中的有用信息资源。本文首先分析了主题爬虫的技术原理、工作流程,然后重点分析了爬虫的主题表示、主题相关性判断、主题预测及主题搜索策略。主要研究工作如下:第一,在主题表示方面,通用的基于关键词的主题表示精确度不高,为此,本文提出了利用交互策略进行基于关键词的主题表示。即,先经过程序分析,提供候选主题表示关键词,再由用户通过程序提供的接口进行关键词的修改。通过这种人工交互的半自动化方式,主题表示可以准确、全面地表达用户的需求。第二,本文提出了基于链接结构和网页内容的主题相关性判断方法,综合考虑了父网页的主题相关度、链入网页数目、网页文本内容及锚文本信息。这四个因素结合起来可以充分发挥各自的优点,准确判断网页是否主题相关。第三,本文分析了Shark-Search搜索策略算法的优缺点,并对算法进行改进。在Shark-Search中,主题预测算法采用了链接上下文信息,但是链接上下文信息通常充满嗓音,难以准确预测网页主题,而大部分网页的URL地址则包含了与网页内容相关联的语义标记,这些标记可以准确计算该URL主题相关性优先级,本文提出利用URL地址的主题相关性优先级代替Shark-Search算法中的链接上下文主题预测值。此外,Shark-Search算法存在很大贪婪性,难以在全局范围内找到最优解,所以本文在Shark-Search算法中引入隧道分析技术来解决算法的贪婪性问题。实验证明,应用改进的Shark-Search搜索策略,主题爬虫的“准确率”和“召回率”得到显著提高。第四,本文在上述理论分析的基础上,实现了一个主题爬虫系统。实验结果表明,该系统提供的数据有较高的准确率和覆盖率。