论文部分内容阅读
摘 要：互联网大数据处理技术已经成为现代网络社会的发展趋势，大数据挖掘是数据处理的关键技术。因此，文章结合互联网，对大数据关键技术进行分析，在分析互联网大数据时代发展现状的基础上，分析了大数据挖掘关键技术，包括数据采集、实时数据处理以及数据管理等基础，以期推动互联网企业的高速发展。
关键词：互联网 大数据挖掘 关键技术
一、相关概念简述
1.大数据时代。大数据概念名字第一次出现是在麦肯锡研究院的一篇学术论文里，文章对大数据做出了准确的定义，并指出大数据是未来的数据处理发展趋势，也会成为未来时代的标签。大数据技术将对人们的工作生活产生深渊影响，会为许多行业提供便利和发展空间。据相关统计资料数据表明，自2011年至今在我国范围内信息数据总量成倍增长，截止到2017年我国范围内信息数据量增加了1.8zb，平均每个人都有超过200gb的信息资源。由此可见数据的海量增长是这个时代的标签。大数据时代也由此开始。
2.数据挖掘。大数据到来以后，数据量飞速增长同时也带来了信息检索困难、效率底下等诸多数据处理难题，数据挖掘技术由此而生。经过长期的发展，数据挖掘技术已经较为完善、成熟。形成规范的理论体系和操作方法，发生了质的改变。我国对数据挖掘的研究起步较晚，且想通过提高数据挖掘的技术能力来促进人工智能的发展，因此我国对数据挖掘的技术深度要求较高。在大数据时代背景下，数据库信息量巨大，对目标数据的获取难度较高，常规数据处理技术无法做到对目标数据精准定位，目标数据无法直接获取，经常隐藏在大量模糊的数据库中，在此类情况下可以通过数据挖掘技术对信息进行分类处理，提升目标数据定位精度和信息处理效率。数据挖掘在很多行业都有得到了广泛的应用。如商业领域，企业管理者需要面对海量的企业运营和市场相关信息，利用数据挖掘可以让管理者准确的在海量信息中找到自己所需要的信息进行参考分析，进而提高决策效率和准确性。
二、对于数据挖掘技术的研究
1.聚类分析研究。聚类研究就是将实物或者概念上的物质进行整合，将相似的物质分结合分成一组。这种由多个相同或类似的物质组合成一组，且根据性质不同分成若干大组的研究方式就是聚类研究。从根本意义上讲，聚类研究就是对数据进行分类，在这过程当中从数据上找出一些潜在价值。目前，有两种聚类研究的方式，首先是硬聚类方式，硬聚类方式就是将间隔比较近的数据进行整合。然后就是模糊聚类方式，模糊聚类研究方式就是根据数据的属性不同进行整合。这两种聚类研究方式虽然在方法上有所不一样，但是他们却有共同的目的。因此，数据挖掘技术研究的过程当中，模糊聚类发和硬聚类发都可以运用。
2.联系研究。在自然界当中，各种物质之间都具有一定的关联性，一种物质的改变就会引起另外一种物质发生对应的改变，例如在同一生态系统当中，草减少了，就会引起食草动物的减少，而食草动物的减少就会引起食肉动物的减少。因此数据联系性的研究，是以自然界生态系统的变化关联性为基础理论的研究。可以理解为，在具有联系性的诸多数据当中，通过不断的分析研究，找出有意义的数据。联系性研究也是开展挖局数据研究的一种有效途径。
3.神经网络研究。神经网络研究就是指，神经网络对于一些数值较大的数据进行一系列的总结，得出计算机以及人工所分析不出来的模式趋势的数据。神经网络研究是涵盖在自主学习的数学模式范围之内的，它不仅可以具有指引的学习，还拥有没有指引的聚类，但是无论是有指引的学习还是无指引的聚类放入到神经网络当中，都是以相同的形式呈现出来的，现阶段数据挖掘技术研究当中常见的神经网络方式运用的方法是bp和rbf。
三、基于互联网的大数据挖掘关键技术
1.大数据预处理技术。大数据预处理是指在大数据挖掘前期，通过相关技术，对大数据进行预处理，其主要包括数据的清理、集成以及归约等几种处理方式。大数据的数据量相对较为庞大，但是并未存在较多的数据价值，相反，大数据数量的增加，在一定程度上增加了数据的噪音，部分数据缺乏使用，同时由于数据的不断增加，导致媒体数据被碎片化处理，因此，需要采用大数据清洗技术以及降噪技术来处理大数据。对于数据的早期处理，主要通过数据挖掘技术来获取时序知识以及分类知识等，同时在大数据时代，人们进入非结构化的时代，需要对大数据进行预处理，以此来满足时代的发展需求。
2.海量异构数据处理。随着互联网事业的不断发展，其逐渐产生了海量的異构数据，根据数据的特点分析发现，其具有数量庞大、类型多、价值密度低以及处理速度快等特点，要求在秒级的时间内，对数据进行分析，并且产生相应的分析结果。如果处理时间相对较长，则会逐渐降低信息的价值，针对大数据的处理问题，需要对其模块进行设计，其主要包括下列模块：（1）处理模块。（2）集成模块。（3）文件系统模块。（4）数据库模块。（5）易用性模块。（6）接口数据访问层。
针对互联网数据的处理问题，需要在数据处理系统中安装探测模块。互联网企业通常根据处理时间，将数据划分为在线信息、近线信息以及离线信息。其主要是根据消耗的时间来进行划分。对于秒级信息的处理，通常是采用流处理技术，通过适当的处理技术分析，可以强化对I/O系统的应用。对于流式处理系统，其主要采用Flume以及Storm等系统架构，在对数据处理后，将相关数据存储到数据库，以此来实现对数据的实时处理。对于批处理系统的设计，首先需要对数据进行存储管理，之后对数据进行分析和计算，其存储系统可以采用HBase，对于冷数据的处理，可以采用GlusterFS等技术，这样可以有效降低管理成本。同时在数据的处理中，通常利用OLAP来进行建模，同时利用组件进行分析，可以较好地提升数据的处理效率。
在互联网技术不断发展的情况下，相关技术同样呈现不断发展的趋势，如通过Spark技术，可以将中间数据进行存放，使其提升迭代的效率，另外，通过计算模型以及相关问题分析，可以绘制图形数据库。另外，在数据处理中，通过数据接口，可以为用户提供应用以及服务。 3.实时数据挖掘。互联网数据具有复杂性的特征，其不利于实现故障的诊断以及用户的体验，数据挖掘模块是通过对无线网络的理解，采用数据分析和挖掘的方式获取报表，以此来开放应用程序编程接口（Application Programming Interface，API），其可以获取以下几种类型的数据信息：（1）网络分析信息，通过对流量以及会话等模块的分析，可以实现对网络性能的关键绩效指标（Key Performance Indicator，KPI）分析。（2）网元分析。通过网元对比以及网元组对比等趋势分析，可以获取RNC性能负载。（3）终端分析。通过终端设备的使用情况分析，可以获取小时的数据变化，继而可以获取相关的性能指标。（4）用户分析。通过对用户数据的比较，可以获取用户资源的使用情况。（5）应用分析。通过对用户应用业务的分析，可以获取用户的累计分布情况以及单个用户的时间变化。（6）通过QoS以及QoE等指标的分析，可以获取用户网络状况以及负荷等相关信息。
在实时数据分析中，多媒体数据挖掘同样是重要的技术手段。通过画像建立以及视频推广等模式进行分析。用户画像的挖掘技术通过视频播放以及注册搜索等行为，采用大数据分类方式构建模型，包括性别或者年龄模型等，通过对模型的预测，可以对用户进行判断，以此来为企业的发展提供数据信息支持。视频推荐模式是根据用户的行为，对视频的相关热度等情况进行分析，可以获取用户的兴趣反馈数据，其便于识别用户的ID，经过信息整理，企业可以采用针对性的推荐来满足客户的基本需求。另外，通过用户画像以及视频推荐，可以为广告企业进行定位，其将符合用户需求的广告投放到定向的人群，以此来提升媒体的运营质量。
综上所述，大数据时代中，聚类分析、分类与预测及关联分析为比较常用的数据挖掘方法，鉴于数据挖掘的重要作用，广泛的应用到市场营销、电信、教育等诸多领域中，且呈现出十分广阔的应用前景，对此，应根據时代的发展，积极的探索、创新更为全面的数据挖掘技术，使数据挖掘技术的优势充分发挥出来，促进我国经济及社会的良好发展。
参考文献：
[1]张美华，王文涛.数据挖掘技术在机房信息管理中的应用[J].电脑知识与技术，2017
[2]单海波.浅谈大数据时代的数据分析与挖掘[J].科技创新与应用，2016
[3]裴 莹，付世秋，吴 锋.我国教育大数据研究热点及存在问题的可视化分析[J].中国远程育，2017
作者简介：夏凉，对外经济贸易大学统计学院在职人员高级课程研修班大数据科学与应用1804班级学员
关键词：互联网 大数据挖掘 关键技术
一、相关概念简述
1.大数据时代。大数据概念名字第一次出现是在麦肯锡研究院的一篇学术论文里，文章对大数据做出了准确的定义，并指出大数据是未来的数据处理发展趋势，也会成为未来时代的标签。大数据技术将对人们的工作生活产生深渊影响，会为许多行业提供便利和发展空间。据相关统计资料数据表明，自2011年至今在我国范围内信息数据总量成倍增长，截止到2017年我国范围内信息数据量增加了1.8zb，平均每个人都有超过200gb的信息资源。由此可见数据的海量增长是这个时代的标签。大数据时代也由此开始。
2.数据挖掘。大数据到来以后，数据量飞速增长同时也带来了信息检索困难、效率底下等诸多数据处理难题，数据挖掘技术由此而生。经过长期的发展，数据挖掘技术已经较为完善、成熟。形成规范的理论体系和操作方法，发生了质的改变。我国对数据挖掘的研究起步较晚，且想通过提高数据挖掘的技术能力来促进人工智能的发展，因此我国对数据挖掘的技术深度要求较高。在大数据时代背景下，数据库信息量巨大，对目标数据的获取难度较高，常规数据处理技术无法做到对目标数据精准定位，目标数据无法直接获取，经常隐藏在大量模糊的数据库中，在此类情况下可以通过数据挖掘技术对信息进行分类处理，提升目标数据定位精度和信息处理效率。数据挖掘在很多行业都有得到了广泛的应用。如商业领域，企业管理者需要面对海量的企业运营和市场相关信息，利用数据挖掘可以让管理者准确的在海量信息中找到自己所需要的信息进行参考分析，进而提高决策效率和准确性。
二、对于数据挖掘技术的研究
1.聚类分析研究。聚类研究就是将实物或者概念上的物质进行整合，将相似的物质分结合分成一组。这种由多个相同或类似的物质组合成一组，且根据性质不同分成若干大组的研究方式就是聚类研究。从根本意义上讲，聚类研究就是对数据进行分类，在这过程当中从数据上找出一些潜在价值。目前，有两种聚类研究的方式，首先是硬聚类方式，硬聚类方式就是将间隔比较近的数据进行整合。然后就是模糊聚类方式，模糊聚类研究方式就是根据数据的属性不同进行整合。这两种聚类研究方式虽然在方法上有所不一样，但是他们却有共同的目的。因此，数据挖掘技术研究的过程当中，模糊聚类发和硬聚类发都可以运用。
2.联系研究。在自然界当中，各种物质之间都具有一定的关联性，一种物质的改变就会引起另外一种物质发生对应的改变，例如在同一生态系统当中，草减少了，就会引起食草动物的减少，而食草动物的减少就会引起食肉动物的减少。因此数据联系性的研究，是以自然界生态系统的变化关联性为基础理论的研究。可以理解为，在具有联系性的诸多数据当中，通过不断的分析研究，找出有意义的数据。联系性研究也是开展挖局数据研究的一种有效途径。
3.神经网络研究。神经网络研究就是指，神经网络对于一些数值较大的数据进行一系列的总结，得出计算机以及人工所分析不出来的模式趋势的数据。神经网络研究是涵盖在自主学习的数学模式范围之内的，它不仅可以具有指引的学习，还拥有没有指引的聚类，但是无论是有指引的学习还是无指引的聚类放入到神经网络当中，都是以相同的形式呈现出来的，现阶段数据挖掘技术研究当中常见的神经网络方式运用的方法是bp和rbf。
三、基于互联网的大数据挖掘关键技术
1.大数据预处理技术。大数据预处理是指在大数据挖掘前期，通过相关技术，对大数据进行预处理，其主要包括数据的清理、集成以及归约等几种处理方式。大数据的数据量相对较为庞大，但是并未存在较多的数据价值，相反，大数据数量的增加，在一定程度上增加了数据的噪音，部分数据缺乏使用，同时由于数据的不断增加，导致媒体数据被碎片化处理，因此，需要采用大数据清洗技术以及降噪技术来处理大数据。对于数据的早期处理，主要通过数据挖掘技术来获取时序知识以及分类知识等，同时在大数据时代，人们进入非结构化的时代，需要对大数据进行预处理，以此来满足时代的发展需求。
2.海量异构数据处理。随着互联网事业的不断发展，其逐渐产生了海量的異构数据，根据数据的特点分析发现，其具有数量庞大、类型多、价值密度低以及处理速度快等特点，要求在秒级的时间内，对数据进行分析，并且产生相应的分析结果。如果处理时间相对较长，则会逐渐降低信息的价值，针对大数据的处理问题，需要对其模块进行设计，其主要包括下列模块：（1）处理模块。（2）集成模块。（3）文件系统模块。（4）数据库模块。（5）易用性模块。（6）接口数据访问层。
针对互联网数据的处理问题，需要在数据处理系统中安装探测模块。互联网企业通常根据处理时间，将数据划分为在线信息、近线信息以及离线信息。其主要是根据消耗的时间来进行划分。对于秒级信息的处理，通常是采用流处理技术，通过适当的处理技术分析，可以强化对I/O系统的应用。对于流式处理系统，其主要采用Flume以及Storm等系统架构，在对数据处理后，将相关数据存储到数据库，以此来实现对数据的实时处理。对于批处理系统的设计，首先需要对数据进行存储管理，之后对数据进行分析和计算，其存储系统可以采用HBase，对于冷数据的处理，可以采用GlusterFS等技术，这样可以有效降低管理成本。同时在数据的处理中，通常利用OLAP来进行建模，同时利用组件进行分析，可以较好地提升数据的处理效率。
在互联网技术不断发展的情况下，相关技术同样呈现不断发展的趋势，如通过Spark技术，可以将中间数据进行存放，使其提升迭代的效率，另外，通过计算模型以及相关问题分析，可以绘制图形数据库。另外，在数据处理中，通过数据接口，可以为用户提供应用以及服务。 3.实时数据挖掘。互联网数据具有复杂性的特征，其不利于实现故障的诊断以及用户的体验，数据挖掘模块是通过对无线网络的理解，采用数据分析和挖掘的方式获取报表，以此来开放应用程序编程接口（Application Programming Interface，API），其可以获取以下几种类型的数据信息：（1）网络分析信息，通过对流量以及会话等模块的分析，可以实现对网络性能的关键绩效指标（Key Performance Indicator，KPI）分析。（2）网元分析。通过网元对比以及网元组对比等趋势分析，可以获取RNC性能负载。（3）终端分析。通过终端设备的使用情况分析，可以获取小时的数据变化，继而可以获取相关的性能指标。（4）用户分析。通过对用户数据的比较，可以获取用户资源的使用情况。（5）应用分析。通过对用户应用业务的分析，可以获取用户的累计分布情况以及单个用户的时间变化。（6）通过QoS以及QoE等指标的分析，可以获取用户网络状况以及负荷等相关信息。
在实时数据分析中，多媒体数据挖掘同样是重要的技术手段。通过画像建立以及视频推广等模式进行分析。用户画像的挖掘技术通过视频播放以及注册搜索等行为，采用大数据分类方式构建模型，包括性别或者年龄模型等，通过对模型的预测，可以对用户进行判断，以此来为企业的发展提供数据信息支持。视频推荐模式是根据用户的行为，对视频的相关热度等情况进行分析，可以获取用户的兴趣反馈数据，其便于识别用户的ID，经过信息整理，企业可以采用针对性的推荐来满足客户的基本需求。另外，通过用户画像以及视频推荐，可以为广告企业进行定位，其将符合用户需求的广告投放到定向的人群，以此来提升媒体的运营质量。
综上所述，大数据时代中，聚类分析、分类与预测及关联分析为比较常用的数据挖掘方法，鉴于数据挖掘的重要作用，广泛的应用到市场营销、电信、教育等诸多领域中，且呈现出十分广阔的应用前景，对此，应根據时代的发展，积极的探索、创新更为全面的数据挖掘技术，使数据挖掘技术的优势充分发挥出来，促进我国经济及社会的良好发展。
参考文献：
[1]张美华，王文涛.数据挖掘技术在机房信息管理中的应用[J].电脑知识与技术，2017
[2]单海波.浅谈大数据时代的数据分析与挖掘[J].科技创新与应用，2016
[3]裴 莹，付世秋，吴 锋.我国教育大数据研究热点及存在问题的可视化分析[J].中国远程育，2017
作者简介：夏凉，对外经济贸易大学统计学院在职人员高级课程研修班大数据科学与应用1804班级学员