论文部分内容阅读
我国是一个农业大国,由于农业的基础薄弱,农业信息化水平始终落后于西方发达国家。在我国加入WTO组织之后,农业信息化建设进入了快速发展阶段,农业类网站如雨后春笋般涌现出来。涉农网站中存有大量的农业数据,并且数据每天仍在以指数级的速度增长。但是这些海量数据只是原始信息,包含大量模糊的,不完整的,带有噪声的信息,并不能作为知识被人们直接利用。农业方面的信息很多,有宏观信息、科技信息、市场信息和科学文化信息等。这些信息在农业领域发挥着重要作用。农业信息按照需求和特点,又可以分为季节性信息、地域性信息、综合性信息、时效性信息、多层次信息及创新性信息等。信息的传递依赖于信息载体,农业信息的载体很多。现阶段,我国的农业信息传播的主要载体,有电视、广播、报刊、图书和互联网等大众传媒。每一种载体都有自己的特点,不同的载体相互补充。与广播,电视,电话等传统的农业信息载体相比较,互联网是正在蓬勃发展的新的信息传播载体。目前,农业网站是农业信息的重要载体,通过农业网站传递着海量的农业信息数据,是其他农业信息载体所不能比的。同时,农业网站是开展农业电子商务的重要手段之一,也是农民及相关从业者交流和学习的平台。在农业网站中存在大量的行情土情、作物信息、经验技术和政策法规等原始信息。通过应用数据挖掘技术来解决“信息爆炸,但知识贫乏”的问题,提高农业信息的利用率。Web数据挖掘就是使用数据挖掘技术对Web网页中的数据进行自动抽取、处理和知识发现的过程,根据挖掘对象的不同,Web数据挖掘可以分为Web内容挖掘、Web结构挖掘和Web用户访问模式挖掘三类。相对于传统的数据库来说,Web上的数据不是完全结构化的数据,且不同Web站点的信息组织各不相同。因此,面向Web的数据挖掘技术首先要解决异构数据源问题和半结构化的数据问题。本文把农业网站作为挖掘的数据源,为了更有效地管理和利用通过挖掘得到的农业数据,尝试构建了一种星型结构的农业数据仓库模型,并给出了农业网站数据挖掘的模型系统。农业网站的数据自动抽取技术也是本文研究的难点之一,本文通过分析农业网站Web页面的结构特点,结合HTTP特征介绍了数据抽取的原理,采用正则表达式来设计抽取算法,并对合肥周谷堆批发市场蔬菜价格行情网页的数据进行了抽取实验,实现了对蔬菜价格数据的自动批量抽取,并对抽取到的数据结果,运用时间序列短期预测模型进行了预测分析。