论文部分内容阅读
随着垂直搜索引擎的出现和发展,专业化的搜索成为搜索引擎发展的一个趋势和方向。垂直搜索就是针对某一领域,某一个行业进行专门的检索,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。这种搜索引擎相对于大型的互联网搜索引擎来讲,具有搜索深入,信息更新快等特点。
本系统首先利用网络爬虫程序采集网页信息,将IT产品信息类网页资源抓取到本地资源库中,并对网页信息进行遍历,采用基于网页内容分析的方法进行相关度评价,以便进行网页的筛选。对筛选后的网页利用Web文档内的超级连接递归访问新网页,从Internet上进一步抓取网页,并提供接口将抓取到的网页存储起来。接着对网页信息进行预处理,包括分析抽取网页信息,切分网页正文信息等,为网页建立索引数据库。系统建立了信息查询服务模块,接收用户输入的查询短语并进行切分等处理,得到关键词后查询索引数据库,并根据重要度排序,将检索结果显示给用户。
为了较好实现网络IT产品网站信息的自动搜索和对客户查询信息的快速反映,在软件体系结构上,本系统采用了B/S模式的网络结构,把整个系统的功能模块划分为三个层次,即表示层、逻辑层和数据存储层。
表示层用于生成用户访问的Web页面,包括IT产品信息的查询页面、查询信息的返回页面、以及对搜索引擎进行初始设置或者调整服务器功能的一些页面,都集中在表示层。逻辑层位于系统的服务器端,包含众多的功能模块,是实现该搜索引擎和网站服务功能的核心层次。表示层中提出的各种功能都通过逻辑层相应的代码模块实现。包括IT产品信息的采集模块,面向网络的IT产品信息的查询功能模块,查询结果显示页面,IT产品信息建立索引并存储的模块等。数据存储层由选定的系统数据库管理系统组成,负责存储整个网站的底层结构化数据。
本文最后对所开发的IT产品垂直搜索引擎系统进行了总结分析,提出了系统的不足和优待改进之处,为系统功能的进一步优化指明了方向。