基于P2P的搜索引擎的研究与实现

• 作 者: 杨阳
• 机 构: 上海财经大学
• 出 处: 上海财经大学
• 发表日期: 2007年期
• 关键词: 对等计算 搜索引擎 文件搜索

随着Internet的迅速膨胀式发展，为了使人们方便、快捷地检索有价值的信息，搜索引擎应运而生。但是现在的搜索引擎还存在一些缺点，比如：信息的实时性问题、信息范围广度问题、信息采集深度问题。因此，传统搜索引擎已经越来越不能够满足广大用户的需求，如何能从庞大的互联网资源，如数据库、网页、文档或音频和视频剪辑中自动准确的提取用户真正想要的信息，并发现信息之间的关联性成为搜索技术关注和竞争的焦点。
最近几年，对等计算(Peer-to-Peer，简称P2P)迅速成为计算机界关注的热门话题之一，财富杂志更将P2P列为影响Internet未来的四项科技之一。
P2P模式的搜索具有比传统搜索引擎更好的实时信息、深度搜索等特点，这为下一代搜索引擎提供了新的思路。该技术的搜索方法与传统的互联网搜索引擎截然不同，具有成本低、查全率高等互联网搜索引擎无法比拟的优势。
该课题瞄准计算机网络应用的最新、最热门的研究方向——第三代搜索引擎技术研究，对基于P2P的搜索引擎技术进行深入研究，并在研究的基础上，采用先进的P2P算法，尝试构建一个基于P2P的搜索引擎，是对新的研究领域的大胆探索。
本文的研究与开发工作可以归纳为以下六个方面：
1.在分析了传统搜索引擎面临的挑战，比较了P2P搜索引擎的技术优势之后，阐述了对基于P2P的搜索引擎技术进行深入研究的重要意义。
2.介绍了P2P技术的理论基础、主要应用领域，并从不同角度对P2P网络进行了归类。
3.通过比较，分析了经典P2P搜索算法的优势、劣势，进而提出一种基于“邻居关系”的搜索算法。
4.详细介绍了一种全新的P2P网络解决方案——JXTA。
5.采用“基于邻居关系的文件搜索(Neighborhood-Based File Search)”算法作为P2P搜索引擎的核心算法，在JXTA平台之上，对搜索引擎系统进行了初步的实现。
6.在“通用P2P模拟器”上，分别采取仿真数据和基于web日志的数据，对算法进行了测试，证实了算法的可行性和优越性。