【摘 要】
：
随着电脑的普及,网民的数量级数倍增长,文本信息数量也呈现了指数级的增长。如何充分利用关键有用的数据,废弃虚伪无用的数据,从而解决数据应用的质量问题是十分重要的,为了
论文部分内容阅读
随着电脑的普及,网民的数量级数倍增长,文本信息数量也呈现了指数级的增长。如何充分利用关键有用的数据,废弃虚伪无用的数据,从而解决数据应用的质量问题是十分重要的,为了解决这个问题我们就需要对搜索的数据再次进行挖掘。因此采用基于web的文本挖掘技术从繁多的信息中提取隐含的、未知的、非平凡的以及有潜在应用价值的信息,就具有十分重要的现实意义和广泛的应用前景。本文分析了中文文本挖掘的内容以及国内外的研究现状,主要工作：首先基于Nutch在掌握Nutch架构和工作原理的基础上,实现基于Nutch的垂直搜索,用来进行旅游行业信息的获取,这些信息包括互联网上的web页面信息和一些论坛上信息的抓取。其次在获得信息的基础上,利用hadoop系统完成信息的选择和处理。抓取的页面数据包括文本、图片、超链接,主要选择的是文本数据,进行初步的数据处理。最后基于处理后的数据,使用weka来进行文本挖掘。讨论对比了文本分类中常见的三种分类方法,分别是朴素贝叶斯、K最近邻和决策树。给出了web环境下,中文文本信息搜索和挖掘的一种设计思路。本文侧重于研究垂直搜索的实现技术以及大规模的数据处理所采取的技术。
其他文献
附子、半夏是中药常用药材,含有毒成分,需炮制后使用。本实验利用膨化技术对附子、半夏进行炮制加工,对膨化饮片进行了质量研究,以考察膨化技术用于中药炮制的可行性。对附子
19世纪对于奥斯曼帝国是意义非凡的，在之前的岁月里，帝国所处的国内外环境发生了天翻地覆的变化。欧洲列强通过改革与革命纷纷走上了资本主义道路，他们将奥斯曼帝国视为首要的瓜
区域旅游发展战略作为区域内旅游发展的总体性和方向性规划,关系到旅游业的健康和长远发展。在介绍越南河内市旅游发展战略的基础、含义、概念、战略的基础上,根据数据统计分
适应行为作为对智力障碍诊断与分类的两个标准之一,是智力障碍学生教育、康复、训练的主题,一直备受研究者关注。课堂适应作为智力障碍学生学校适应的重要组成部分,也是其适
关注人的存在是存在主义最根本的旨趣，萨特亦是如此。萨特并不承认上帝所代表的那种唯一的价值，而是从人的自由本质与自由选择出发，秉承追求自我超越、自我担待的精神，最终使每一
《江南经略》为明代重要抗倭著作,作者郑若曾,明代著名军事理论家,其最著名的作品《筹海图编》为历代海防抗倭专家所推崇,但实际上,对于抗倭理论、海防思想而言,《江南经略》
心理学是人文科学里理论较为复杂的学科,它给读者提供科学的方法,间接的观察和研究人的心理动态,帮助人们培养健康的心理,服务于人类的生产和实践。心理学翻译是一门跨学科翻
伴随着国民经济的飞速发展,作为国家经济发展载体,我国上市公司的队伍也在不断壮大。截止2011年年底,我国上市公司己多达2342家。为加强对上市公司的监管,证监会于1998年3月
贫困是一个复杂的社会问题,一直以来备受政府和学术界的关注。随着我国老龄化进程的加快,老年人口的规模不断壮大,同时由于男女两性平均预期寿命的差异,老年人口逐渐呈现出女
社会体育指导员对发展我国的群众体育起着至关重要的作用,社会体育指导员是群众性体育活动的直接组织者、管理者和指导者,[1]是发展我国体育事业,增进公民身心健康,提高生活