一种按需配置的Web文本信息定向抓取方法

来源 :中国农业工程学会电气信息与自动化专委会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会 | 被引量 : 0次 | 上传用户：michaelwf

【摘要】

：

本文提出一种模拟客户端HTTP请求定向获取web 文本并进一步加工以抓取所需数据的方法,以第二次提取数据的形式实施数据的重复利用.利用一个可以制定抓取页面内容并制定抓取页

【作者】

：

徐山川;高万林;张树亮;卢帅州;

【机构】

：

中国农业大学信息与电气工程学院,北京,100083

【出处】

：

中国农业工程学会电气信息与自动化专委会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会

【发表日期】

：

2010年期

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

本文提出一种模拟客户端HTTP请求定向获取web 文本并进一步加工以抓取所需数据的方法,以第二次提取数据的形式实施数据的重复利用.利用一个可以制定抓取页面内容并制定抓取页面保存结果的配置文件,通过HttpClient模拟用户对服务器页面的请求并利用HtmlParser 提取指定的DOM 结构,有针对性的对页面信息进行抓取和保存.

其他文献

手术室消毒隔离与院内感染

院内感染是指病人在入院时不存在、也不处于疾病的潜伏期而在医院内发生的感染,同时也包括在医院内感染而在出院后才发病的病人。院内感染不仅影响病人健康、增加病人痛苦、

期刊

毒隔离院内感染病源体医疗质量住院日期病源微生物特异性感染手术吸引器瓶手术期间无菌区

基于ASTER数据的近海水产养殖区提取方法研究

随着海洋遥感技术的迅速发展,利用各种遥感数据获取近海养殖信息,并研究近海养殖对海洋环境和渔业的影响,对合理开发海洋资源和保护海洋生态环境具有十分重要的意义.本文以山

会议

国有企业资产管理与预算管理相结合的问题与思考

加强国企资产管理是保障经济领域国有资产价值的重要手段。本文从当前国有企业的现状出发，分析了资产管理中存在的管理不足和问题，探讨了利用预算管理方法解决这些问题的途经，建

期刊

国有企业资产管理预算管理

基于即时连库查询的农村信息语音信息服务系统

在农村现有的通讯条件下,语音信息服务系统可以缓解信息传输过程中获取信息效率低的问题.针对现有农业信息语音服务系统自动化程度较低,缺少必要的数据库支持,数据信息更新操

会议

成本目标管理及其在电力施工管理中的应用

电力工程管理过程中非常重要的一个环节就是成本目标的管理，这不仅对控制电力工程的运营成本有着重要意义，还能够提升整体项目的效益。本篇文章简单地介绍了成本目标管理的概念

期刊

成本目标管理电力工程费用支出

新形势下财务管理中存在的风险及防范措施探析

近年来，随着我国经济不断向前发展，国有企业面临越来越多的问题，其中最突出的问题便是财务管理风险。因此，国有企业应该紧跟时代发展的步伐，在新形势的发展下有需要进行财务管理风

期刊

国有企业财务管理内控力风险预警机制

关于科研事业单位财务内部控制的思考

对于科研事业单位而言，财务内部控制工作的有效实施不仅可以促进其岗位责任制的构建，还可以对单位内部工作氛围进行优化，使财务内部控制工作的顺利高效实施更有保障。但是目前很

期刊

科研事业单位财务内部控制财政经费

村镇土地利用预警系统设计与实现

村镇土地利用中存在空心村、非法占用等一系列问题,土地利用的监测、评价、预警是保证土地资源合理配置的技术依据.本文首先针对土地利用预警指标体系构建、指标值获取技术、

会议

基于嵌入式linux技术的多点农业图像采集系统设计

我国是一个水资源严重缺乏,水旱灾害频繁的国家.已被联合国列为13 个贫水国家之一.农业是我国的用水大户,当前,对农业进行精确化灌溉主要采用湿度检测及气象观测站方式进行反

会议

房地产企业税收筹划策略

伴随我国房价的不断上涨，在房地产领域中各项调控政策也陆续出台了，使得我国房地产企业的总体业绩情况产生了较大的波动。在此背景之下，为更好的下降企业的税收成本，则应注重进行

期刊

房地产企业税收筹划税收法规

一种按需配置的Web文本信息定向抓取方法

其他学术论文