论文部分内容阅读
随着大数据时代的到来,用户经常需要从互联网海量数据当中搜集到特定的相关的数据并对其分析,在搜索引擎中,主要通过网络爬虫来实现对网页内容的抓取及存储。论文研究了在大数据环境下开发网络爬虫的必要性、开发工具Python的优势所在,从实现基于Python的网络爬虫入手,介绍了一个简单爬虫实现的过程。结果表明:通过爬虫获取及存储数据,快速高效。