【摘 要】
：
随着数据的不断发展,人们对数据的需求量也与日俱增,对于个人或中小型企业需要的较小规模数据可以通过网络爬虫来获取。网络爬虫程序通过URL地址读取网页信息,对网页文本信息
论文部分内容阅读
随着数据的不断发展,人们对数据的需求量也与日俱增,对于个人或中小型企业需要的较小规模数据可以通过网络爬虫来获取。网络爬虫程序通过URL地址读取网页信息,对网页文本信息加以解析和筛选,以形成目标数据。用Python编写的网络爬虫可以使用多线程技术提高程序运行效率,通过加锁来保证所获取数据的正确性,使用数据库存储爬取的大规模数据。爬虫程序的主要应用是实现信息的聚合,为用户提供更多可选择的信息。本设计中的爬虫程序主要为用户提供多个网站的图书信息,最终以网页的形式呈现给使用者。首先从数据库读取网页地址以及相应的规则,爬虫程序结合网页规则提取数据,把数据存入到已连接的数据库中,再把这些数据写入到HTML文本中,这样便完成了整个信息的聚合过程。
其他文献
<正>2005年3月14日,在上海市德育工作会议上,当时的市科教党委(现市教卫工作党委)和市教委联合颁布了两份"具有开创性意义"的文件——《上海市学生民族精神教育指导纲要》和
敏捷制造是一种可以快速响应客户需求的制造模式,但现有敏捷制造模式下的生产计划优化系统存在针对性弱、生产模型单一等问题。本文详细论述了.NET平台下车身厂冲压车间生产
道路交通事故居三大道路交通公害之首,它会给人类的社会生活带来十分严重的后果。一方面,交通事故的发生,不仅给受害当事人造成身心创伤,更会给受害人家庭带来许多问题;另一
<正>现在流行一个概念叫"顶层设计",我也不能免俗地借用此概念来自我包装一下。明德的课程改革主要从三个层面展开:第一是课程重构,第二是学科重组,第三是课堂重建。其中课堂
对临沧市创建森林城市的条件进行SWOT分析。从市域和城市主城区2个层次,分别探究森林城市建设规划的规划思想和布局理念,将市域城市森林网络体系构建成'一核、二网、三廊
<正>我们喜欢谈教育爱心,这当然是对的,因为没有爱,的确就没有教育。但是,教育之爱不是抽象的,它应该建立在智慧的基础上——也就是说,要有爱的能力。可能没有哪个老师会说自
诗歌追其源流,本就是和歌之作,或以"歌诗"命名之更为妥帖,然诗与歌分离之后,人们就很少再关注诗之"歌"性。从本期始,我们将随孙良好先生走入现代"歌诗"的殿堂,在品赏一首首"
本文研究了不同施药方式对三都县马铃薯晚疫病防效和马铃薯产量的影响。结果表明,防治马铃薯晚疫病的最佳施药方式是齐苗期喷施1次保护剂1000亿个芽孢/g枯草芽孢杆菌可湿性粉
《王粲登楼》的情节由剧中人物对王粲不愿做游士行为的误解及对这种误解的阴谋利用所构成,它推动着王粲命运的不断悲剧化,最终使之登楼抒发感人至深的情感。故人们对其艺术结