论文部分内容阅读
摘 要：随着互联网信息化高速发展，加快了我国各行业信息化建设步伐，尤其是在自动化控制信息化建设方面，取得了令人瞩目的发展成就。摘 要：随着经济社会不断发展与进步，科技信息技术为了适应社会发展的需求，也在不断地提高。云计算作为互联网发展中的一项新兴技术，渐渐成为了人们生活中不可或缺的一部分，并被广泛运用于军事领域、医疗领域与金融领域等。随着计算机的不断发展，基于云计算环境下的数据挖掘技术已经成为一项非常高效与实用的技术，它可以有效的解决传统数据挖掘方式不适合解决海量数据的问题。
关键词：云计算下；SOA；自动化控制；软件模型
1前言
春笋不断涌现，数据量急剧增长，传统的数据分析方法已不能满足人们的需求。数据挖掘作为一种新兴的数据分析方法，它以实际中的应用需求，综合数据库技术、人工智能、专家系统、统计等多方面技术从海量数据库中发现隐藏的知识，广阔的市場和研究利益使得这块领域发展迅速。目前，数据挖掘已在处理大数据量的各个领域中得到广泛应用，大量的数据挖掘成功实例说明了数据挖掘对信息处理确实高效可行，它为各类研究人员、商业决策者或者政府企业管理者提供可靠的信息支持，提高了工作效率和经济效益。
2数据挖掘定义及特点
数据挖掘（DataMining），即数据开挖采掘，数据挖掘的数据来源于实际应用，通过对海量数据的高级处理，提取出隐藏的有用的、让人容易理解的知识又运用到实践中去，辅助实际决策。它是一个系统工程，包括数据库数据准备与管理、数据预处理和数据转化、挖掘算法研究分析与应用、挖掘结果验证与展示，这些步骤在挖掘过程中不断地交互循环。它包括浅层次应用，如数据查询及报表功能，数据库联机分析处理等；高层次应用则是从大数据中发现新知识，提高挖掘数据的价值。数据挖掘技术具有以下特点：
（1）应用性，数据挖掘的数据源于实际应用，知识通过数据挖掘后又要应用到实际系统中，辅助现实决策。
（2）数据量大、结构复杂，数据规模已从先前的GB、TB跃升到PB，数据形式多样，如日志信息、图形图片、视频动画等。
（3）实时性，大数据时代，要求数据挖掘处理速度快，及时反馈结果以随时提供决策支持。
（4）动态性，由于数据库中的数据是随时发生变化的，因此数据挖掘结果只能代表当前状态的知识信息，随着时间的推移，要及时进行更新。
（5）集合性，数据挖掘算法、建模方式很多，如专家系统、人工智能、分析统计、数据库技术等的运用，在一个具体的实例应用中，数据挖掘往往集合多种功能的应用，每种功能都有相关数据模式及挖掘算法的支撑。
（6）价值性，低密度高价值，合理利用看似无价值的数据并对其进行深层次的挖掘分析，将会为商业和社会带来巨大的价值。
3基于云计算环境下的数据挖掘技术分析
数据挖掘具有数据清理、数据变换、数据挖掘实施过程、模式评估与知识表示等8个步骤。这8个步骤，能帮我们更好地从海量数据中提取我们所需的有价值的信息。而在数据挖掘中，最重要的是数据收集处理与数据存储工作。
第一，数据收集处理。我们在进行数据收集与处理时，可以先用决策树来判别是用户访问数据还是Web机器人访问数据。然后再将海量数据进行过滤、转换、清洗、整合，将其变成半结构化的XML文件进行保存。虽然现在流行用Map-Reduce模式来进行数据收集，但其开发工具还不够完善。在今后的数据挖掘技术发展与完善的过程中，我们可以将结合分形维数和其他技术的方法作为新的发展方向。不断地强化数据收集处理功能，使其能更好地为各种应用系统服务。
第二，数据的存储工作。云计算系统中的分布式存储策略，是运用最广泛的数据存储方式。它可以将同一个数据存储为多个副本，这在一定程度上保证了数据的可靠性，而且还不是冗余复制。而且系统中，还存在心跳检测、错误隔离等措施。虽然通过数据副本的存储方式能够有效的提高数据存储安全性，但是数据的计算速度和移动速度都比较慢，且实际的工作效率也并不理想。因此，我们在进行数据迁移的时候，可以利用MASTER系统来完成计算数据迁移工作。我们可以通过寻找数据副本进行抵制，既可以进行迁移又可以完成既定工作，这样不但使工作效果更加理想，而且实际工作效率也大幅度的提高。
4基于SOA架构的内容管理平台系统分析与设计
4.1系统架构
系统采用B/S体系，以SOA架构思想为指导原则的J2EE架构，应用代理、请求处理服务、文件传输、内容服务、接入服务、平台管理和监控、公共服务等构件组成。核心功能为内容服务API，包括文档的上传、更新、查询、版本控制、文件夹检索、策略检索、权限控制等。
4.2模块设计
根据系统功能要求分析，内容管理平台主要由系统管理模块、授权管理模块、接入服务模块、传输服务模块、接口服务模块、存储管理模块、归档管理模块、作业服务模块组成。每个模块的功能如下：①系统管理模块包括系统参数管理、用户管理、机构管理、角色管理；②权限管理模块包括组件通讯权限管理、接口通讯权限管理、文件共享权限管理；③接入服务主要负责外围应用的注册、外围应用的管理；④传输服务主要负责文件的传输，包括数据加密解密、数据压缩与解压缩、传输控制；⑤接口服务为外围系统提供文件的查询、调阅、修改、删除、版本检索等核心功能；⑥归档管理包括归档配置功能、归档规则管理功能、清理配置功能、清理规则管理功能；⑦作业服务主要用于将缓存内容按照配置的归档规则和清理规则将数据持久化到存储层；⑧存储管理主要包括索引存储功能和非结构化数据存储功能，包括索引服务模块和内容服务模块。
4.3数据库设计
CM使用了两个数据库：索引数据库和资源服务器数据库；作为系统的重要组成部分，一个是索引服务器使用的索引数据库，管理项类型定义和同资源管理服务器的对象映射管理；另一个是资源服务器，主要是存储资源管理服务器的配置参数：服务器、存储组、存储系统、迁移策略等等。
5结束语
综上所述，本文通过对云计算环境下的数据挖掘技术的分析与探讨，期望可以加深同行业工作者对数据挖掘技术的了解，为将来电子商务发展效率的提高，打下结实的基础。随着我国新兴产业战略地位不断提升，云计算成为了国家新兴产业发展的一项重点工程。我们需要不断探索与发展云计算数据挖掘技术，才能更好的满足用户的需求。据相关研究表明，云计算技术下的数据挖掘平台，相比于传统的数据挖掘方式，其数据挖掘效率高于20%。由此可见，基于云计算环境下的数据挖掘技术，不仅能满足用户规模扩大、应用目标多样等环境下的数据挖掘的应用需求，还能满足当前系统的设计需求，有利于提高数据挖掘的效率，具有更加实用价值。
参考文献
[1]曾志华，李聪.云计算环境下频繁出现异常数据挖掘方法研究[J].计算机仿真，2016，56（3）：339-342.
[2]黄潮.云计算环境下的海量光纤通信故障数据挖掘算法研究[J].激光杂志，2017，38（1）：96-100.
（作者单位：92493部队）
关键词：云计算下；SOA；自动化控制；软件模型
1前言
春笋不断涌现，数据量急剧增长，传统的数据分析方法已不能满足人们的需求。数据挖掘作为一种新兴的数据分析方法，它以实际中的应用需求，综合数据库技术、人工智能、专家系统、统计等多方面技术从海量数据库中发现隐藏的知识，广阔的市場和研究利益使得这块领域发展迅速。目前，数据挖掘已在处理大数据量的各个领域中得到广泛应用，大量的数据挖掘成功实例说明了数据挖掘对信息处理确实高效可行，它为各类研究人员、商业决策者或者政府企业管理者提供可靠的信息支持，提高了工作效率和经济效益。
2数据挖掘定义及特点
数据挖掘（DataMining），即数据开挖采掘，数据挖掘的数据来源于实际应用，通过对海量数据的高级处理，提取出隐藏的有用的、让人容易理解的知识又运用到实践中去，辅助实际决策。它是一个系统工程，包括数据库数据准备与管理、数据预处理和数据转化、挖掘算法研究分析与应用、挖掘结果验证与展示，这些步骤在挖掘过程中不断地交互循环。它包括浅层次应用，如数据查询及报表功能，数据库联机分析处理等；高层次应用则是从大数据中发现新知识，提高挖掘数据的价值。数据挖掘技术具有以下特点：
（1）应用性，数据挖掘的数据源于实际应用，知识通过数据挖掘后又要应用到实际系统中，辅助现实决策。
（2）数据量大、结构复杂，数据规模已从先前的GB、TB跃升到PB，数据形式多样，如日志信息、图形图片、视频动画等。
（3）实时性，大数据时代，要求数据挖掘处理速度快，及时反馈结果以随时提供决策支持。
（4）动态性，由于数据库中的数据是随时发生变化的，因此数据挖掘结果只能代表当前状态的知识信息，随着时间的推移，要及时进行更新。
（5）集合性，数据挖掘算法、建模方式很多，如专家系统、人工智能、分析统计、数据库技术等的运用，在一个具体的实例应用中，数据挖掘往往集合多种功能的应用，每种功能都有相关数据模式及挖掘算法的支撑。
（6）价值性，低密度高价值，合理利用看似无价值的数据并对其进行深层次的挖掘分析，将会为商业和社会带来巨大的价值。
3基于云计算环境下的数据挖掘技术分析
数据挖掘具有数据清理、数据变换、数据挖掘实施过程、模式评估与知识表示等8个步骤。这8个步骤，能帮我们更好地从海量数据中提取我们所需的有价值的信息。而在数据挖掘中，最重要的是数据收集处理与数据存储工作。
第一，数据收集处理。我们在进行数据收集与处理时，可以先用决策树来判别是用户访问数据还是Web机器人访问数据。然后再将海量数据进行过滤、转换、清洗、整合，将其变成半结构化的XML文件进行保存。虽然现在流行用Map-Reduce模式来进行数据收集，但其开发工具还不够完善。在今后的数据挖掘技术发展与完善的过程中，我们可以将结合分形维数和其他技术的方法作为新的发展方向。不断地强化数据收集处理功能，使其能更好地为各种应用系统服务。
第二，数据的存储工作。云计算系统中的分布式存储策略，是运用最广泛的数据存储方式。它可以将同一个数据存储为多个副本，这在一定程度上保证了数据的可靠性，而且还不是冗余复制。而且系统中，还存在心跳检测、错误隔离等措施。虽然通过数据副本的存储方式能够有效的提高数据存储安全性，但是数据的计算速度和移动速度都比较慢，且实际的工作效率也并不理想。因此，我们在进行数据迁移的时候，可以利用MASTER系统来完成计算数据迁移工作。我们可以通过寻找数据副本进行抵制，既可以进行迁移又可以完成既定工作，这样不但使工作效果更加理想，而且实际工作效率也大幅度的提高。
4基于SOA架构的内容管理平台系统分析与设计
4.1系统架构
系统采用B/S体系，以SOA架构思想为指导原则的J2EE架构，应用代理、请求处理服务、文件传输、内容服务、接入服务、平台管理和监控、公共服务等构件组成。核心功能为内容服务API，包括文档的上传、更新、查询、版本控制、文件夹检索、策略检索、权限控制等。
4.2模块设计
根据系统功能要求分析，内容管理平台主要由系统管理模块、授权管理模块、接入服务模块、传输服务模块、接口服务模块、存储管理模块、归档管理模块、作业服务模块组成。每个模块的功能如下：①系统管理模块包括系统参数管理、用户管理、机构管理、角色管理；②权限管理模块包括组件通讯权限管理、接口通讯权限管理、文件共享权限管理；③接入服务主要负责外围应用的注册、外围应用的管理；④传输服务主要负责文件的传输，包括数据加密解密、数据压缩与解压缩、传输控制；⑤接口服务为外围系统提供文件的查询、调阅、修改、删除、版本检索等核心功能；⑥归档管理包括归档配置功能、归档规则管理功能、清理配置功能、清理规则管理功能；⑦作业服务主要用于将缓存内容按照配置的归档规则和清理规则将数据持久化到存储层；⑧存储管理主要包括索引存储功能和非结构化数据存储功能，包括索引服务模块和内容服务模块。
4.3数据库设计
CM使用了两个数据库：索引数据库和资源服务器数据库；作为系统的重要组成部分，一个是索引服务器使用的索引数据库，管理项类型定义和同资源管理服务器的对象映射管理；另一个是资源服务器，主要是存储资源管理服务器的配置参数：服务器、存储组、存储系统、迁移策略等等。
5结束语
综上所述，本文通过对云计算环境下的数据挖掘技术的分析与探讨，期望可以加深同行业工作者对数据挖掘技术的了解，为将来电子商务发展效率的提高，打下结实的基础。随着我国新兴产业战略地位不断提升，云计算成为了国家新兴产业发展的一项重点工程。我们需要不断探索与发展云计算数据挖掘技术，才能更好的满足用户的需求。据相关研究表明，云计算技术下的数据挖掘平台，相比于传统的数据挖掘方式，其数据挖掘效率高于20%。由此可见，基于云计算环境下的数据挖掘技术，不仅能满足用户规模扩大、应用目标多样等环境下的数据挖掘的应用需求，还能满足当前系统的设计需求，有利于提高数据挖掘的效率，具有更加实用价值。
参考文献
[1]曾志华，李聪.云计算环境下频繁出现异常数据挖掘方法研究[J].计算机仿真，2016，56（3）：339-342.
[2]黄潮.云计算环境下的海量光纤通信故障数据挖掘算法研究[J].激光杂志，2017，38（1）：96-100.
（作者单位：92493部队）