事件垂直搜索引擎的研究与实现

• 作 者: 刘锦标
• 机 构: 中山大学
• 出 处: 中山大学
• 发表日期: 2008年期
• 关键词: 垂直搜索引擎 爬虫 中文地址分词 PopRank HotRank

在信息膨胀的Web2.0狂潮之下，Google、Baidu等针对所有用户以及所有主题的通用搜索引擎越来越力不从心，原因如下：通用搜索引擎只根据用户输入的关键字搜索难以准确理解用户的需求，从而导致搜索的结果往往不是用户所需要的；通用搜索引擎面向的是互联网上所有主题的网页，不可能做到面面俱到；通用搜索引擎面向的最小单位是网页，搜索结果对某些特定需求的用户来说往往不是最贴切的。
在这种情况下，垂直搜索应运而生。垂直搜索针对某些行业搜索需求的用户，提供专业化的搜索服务。概括地说，垂直搜索提供的是对某一个特定行业的搜索。它只抓取某一主题的领域网站，并且把网站的信息分类、去重、分词并结构化成所谓的元数据，经过深度的加工处理、优化，并在返回用户查询结果时提供良好的用户体验。
以往的垂直搜索往往只针对静态的物体进行搜索，如租房，餐饮等，但当今社会是不断变化的社会，用户往往很想知道周边的资讯事件。这种领域的搜索本身是符合用户需求和富有创新的。本文的垂直搜索主要是为用户提供对事件的关于空间和时间两个维度的搜索。本文在深入研究垂直搜索引擎技术的同时，对架构进行了精细的设计，设计并实现了一个分布式爬虫的事件垂直搜索系统，并提出了一种基于规则和图路径的地址分词算法。在对事件对象的排序研究上，提出了一种基于PageRank和PopRank的HotRank的排序算法，它对对象间不同的同类引用赋予不同的权重。实验表明，HotRank模型能够有效地提高PopRank的排序准确率。