【摘 要】
：
互联网的信息非常丰富,提供了许多有价值的信息。大数据及其应用正是基于互联网海量信息的价值提取,这为互联网乃至若干行业企业的用户交互和商业运营提供了全新的方式,并改
论文部分内容阅读
互联网的信息非常丰富,提供了许多有价值的信息。大数据及其应用正是基于互联网海量信息的价值提取,这为互联网乃至若干行业企业的用户交互和商业运营提供了全新的方式,并改善了用户的网络访问体验和消费方式。管理信息系统不仅能够对专题信息进行标准化数据管理,为其他业务应用提供数据支持,也为企业的业务决策提供了有力支持。但因传统管理系统依赖需求设计的局限性,已不能满足快速发展的网络应用。而管理信息系统的数据往往处于系统软件的封闭环境,数据生成和管理都有软件系统提供,这导致数据管理成本高、数据价值单一僵化等问题。而数据开放的管理信息系统,其数据来源动态且多样,打开其数据渠道,丰富数据来源的深度和广度,对未来的进一步数据分析奠定基础。网络爬虫为现代互联网信息检索提供了有力的技术支持,也为未来开放的管理信息系统提供全面的数据解决方案。本文正是面向管理信息的专题数据需要,研究基于网络爬虫的数据采集技术。本文首先简要介绍了互联网信息采集技术的主要方式,全面分析了网络爬虫技术尤其是主题爬虫技术的基本原理和最新进展,并以中国美术家为专题,结合主题爬虫和通用爬虫技术,设计数据采集系统。本文利用主题描述和初始化的权威种子站点,提出了权威站点队列和关键词队列的生成算法;基于VSM算法,结合权威站点队列和关键词队列,设计了主题相关性判定算法。系统开发完成后,经过功能及性能测试,基本达到预期设计目标。本文最后对网络设计采集技术和系统设计相关工作进行了总结,并指出了系统当前存在的不足和未来改进的方向。
其他文献
学生从小学进入初中，在学习方法、学习习惯，学习要求等方面都有较大的变化。为了使学生们能适应中学的学生活，我们不仅对他们进行知识上的补差，补齐，更重要的是对他们进行学习习惯
<正>咳嗽变异性哮喘,又名过敏性咳嗽,以持续气道炎症及气道高反应为特点,咳嗽持续或反复发作超过1个月,临床无感染征象,或经长时间抗菌治疗无效,单用平喘药可使咳嗽发作缓解,
石家庄动力厂炼铁分厂最近制订了红旗二号简易焦炉的安全操作规程与岗位守则制度,这是当前简易焦炉生产中所必需的。今将他们厂的规程制度选择一部份介绍如下,供各地参考。
迷走右锁骨下动脉(aberrant right subclavian artery,ARSA)是指右锁骨下动脉直接开口于左锁骨下动脉远端的左位降主动脉上,其发病率约为0.16%~4.4%[1],是主动脉弓及其分支变
人民防空是国之大事、国家战略和长期战略,上海作为全国特大型城市,各种要素高度集聚、人口众多,场所密集,如何做好特大城市的人防事业是推进国家治理体系和治理现代化的一个
从日常预报的角度出发,结合常规观测资料和数值预报产品对2014年12月18日梅县出现了14年入冬以来的首次低温霜冻天气进行分析得出:低温天气的出现和冷空气的入侵有关外,还与
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
利用宜昌市历史气象数据、电力负荷数据以及日期类型数据等建立LSTM网络模型,通过逐步调优试验评估,提出适用于宜昌电力负荷预测的LSTM网络模型方案。利用过去48h的历史气象
职业成熟度是指个人掌握与其职业发展阶段相适应的职业发展目标的程度,是个人在职业发展过程中表现出来的身心发展的综合水平。职业成熟度越高,职业发展就越好。随着我国社会