基于本体的主题网络蜘蛛研究

• 作 者: 付梦
• 机 构: 武汉理工大学
• 出 处: 武汉理工大学
• 发表日期: 2010年期
• 关键词: 主题网络蜘蛛 垂直搜索 领域本体 主题识别 搜索服务 相关度算法 网页排序

随着网络技术及信息技术的迅猛发展，搜索引擎已成为人们获取信息的主要手段。然而传统搜索引擎的查全率及查准率不高，搜索效率低下，越来越不能满足人们的需要。因此，针对特定领域的垂直搜索引擎逐渐成为发展趋势，它能更快速、准确的定位信息，提供更个性化、更专业的搜索服务。　　
主题网络蜘蛛是垂直搜索引擎的关键组成部分，直接决定了垂直搜索引擎的质量。它能自动对URL进行主题识别，提取网页链接，下载相应的信息。目前的主题网络蜘蛛大多采用传统的关键词匹配模式，无法识别关键词的一词多义或者一义多词的情况，也无法从语义的层面来智能的识别搜索意图并对网页进行智能分类。　　
本体可以解决语义异构的问题，促进知识共享，实现概念上的互操作。本体论为语义搜索提供了可共享、概念化的知识体系，是语义搜索中实现知识理解和推理的基础。因此将本体论与主题网络蜘蛛结合，可以提高网络信息服务的智能化与自动化，为语义检索中实现知识理解和推理提供基础，为用户共享知识提供便利。　　
本文从研究与设计的角度出发，以本体和垂直搜索引擎的理论为基础，分析了主题网络蜘蛛的研究现状、不足之处、组成结构和工作原理，设计了基于本体的主题网络蜘蛛系统，该系统能够对用户的真正意图进行识别，为用户提供更规范及详细的结果输出。随后，本文介绍了该系统的开发环境、基本框架及各模块的功能，包括页面抓取模块、页面分析模块、主题相关性分析模块及排序模块，并对各重要模块的算法流程进行了详细说明。另外，本文设计并实现了电子商务领域本体，主要分析了电子商务领域概念及概念间的语义关系，详细解释了电子商务领域本体的需求分析和框架结构设计，采用本体编辑工具Protége构建了电子商务领域本体。最后，介绍了系统实现的关键技术，包括主题相关度分析、网页排序、网页解析，中文分词和网页消重技术，重点介绍了主题相关度分析和网页排序技术，提出了基于Wordnet语义词典-电子商务领域本体的主题相关度分析算法和基于本体的概念相似度计算方法-PageRank算法的网页排序算法。