论文部分内容阅读
摘要：大数据是当下热门的话题。本文从数学建模的角度，介绍了数学建模在数据处理方面的发展，数据分析的内容，以及如何获取有用信息等，并对数学方法解决数据处理问题作出展望。
关键词：数据处理；数学建模；大数据
中图分类号：G642 文献标识码：A 文章编号：1671-864X（2014）09-0092-02
随着计算机科学技术的不断发展，人类社会已进入大数据时代。所谓大数据，是指数据量特别大，无法通过目前主流的计算软件工具，在合理时间内处理、并整理统计为帮助企业经营决策的信息。除了数据类型繁多之外，数据的真实性高、但价值密度低成为大数据的主要特点。如今如何使用大数据，哪些技术能更好地处理大数据是企业关注的问题。
数学在处理数据方面的作用是巨大的，其所创造的价值更是无法估量。华尔街早就开始招聘精通数据分析的理论数学家来为其设计金融产品。IBM 现在是全球数学博士的最大雇主，数学家正在将其数据分析的才能应用于石油勘探、医疗健康等各个领域。数学也开始走出象牙塔，与各个专业领域进行深度融合。
随着数据量越来越大，也使传统的数学建模受到严重挑战。数学在处理数据方面经历了下面几个过程，上个世纪 80年代，数学热促使了数学建模的发展，但经典的数学模型对带有观测误差的数据处理能力有限；90年代出现了信息热，然而当时的信息处理技术在很多方面难以达到使用的标准；从90年代中期，统计学成为大众消费数据的热点，使得统计学家从学术理论走到了现实世界，从而出现了统计建模。然而随着大数据体量不断增加、类型复杂，统计建模方法已不能完全胜任。近几年，数据采集、数据处理、数据建模、数据应用等方法现已成为新热点。使数据处理方法变得多样而实用。
大数据分析通过分析获取有价值的信息，最终确定信息是否为决定性因素。主要研究的理论有：第一，可视化分析。为了能够直观呈现数据的特点和规律，通常用可视化方法呈现大数据特点，便于人们认识和接受。第二，数据挖掘，它是大数据分析理论的核心。通过快速高效的算法，将不同属性的数据规律呈现出来，并深入数据内部挖掘出数据的内在规律。第三，数据得正确性和可靠性研究。在实际应用中，高质量的数据有利于保证分析结果的可靠性。第四，预测性分析。即预测事物未来发展的规律。建立科学合理的数学模型，对预测结果的正确性尤为重要。
大数据研究不同于传统的逻辑推理研究，而是对数量巨大的数据做统计性的搜索比较、聚类分析、模式识别、主成分分析、判别分析、对应分析、最优尺度分析等统计分析归纳，因此继承了统计科学的一些特点。以此来判断数据之间的相互关系，以及关联程度，即数据的相关性，并进一步发现多个变量的取值之间存在的某种规律性，找出数据集里隐藏的相互关系，一般用支持度、可信度等参数反映相关性。
数据分析过程中掌握高效快速的处理方法是解决问题的关键。在大数据时代，由于数据量的快速膨胀、数据来源复杂、价值潜伏、处理速度快等特点，一些基于精确分析的科研方法越来越赶不上时代的步伐，非精确的计算方法急需出现，研究试图找到一种模糊解决问题的手段。近来关于大数据的建模分析方法主要包括数据采集，数据存取，基础架构，分布式文件存储和云存储等。
聚类分析是数学统计建模的一种常用的方法。是对于同类事物按照某些指标数据的特性（如相似程度、亲疏关系等）来进行分类。一般事物的特性带有模糊性，为此可确定相应的模糊矩阵，通常需要设置一个置信水平λ，由不同λ值可以得到不同的分类结果。也就是说，分类结果与置信水平之间有很强的关系，置信水平为多少需要根据实际问题进行经验和论证，这一点是至关重要的，一定程度上决定了模型的好坏。那么不难看出聚类分析的分类标准是未知的。模式识别也是统计建模的方法。已知将整体事物分为若干类型的标准模式，而对于一个或多个确定的对象按照一定的原则识别它们属于哪一类。包括：最大隶属度原则、贴近度原则、单特性择近原则、多特性择近原则等。显然模式识别是在分类标准已知的前提下计算的。
分析过程还需要做标准化处理。在实际中各类数据之间，往往存在着不可公度性，难以做统一的数据分析和比较，比如质量和长度本来就是两类相互独立的度量单位，如果不加处理的进行比较必然没有意义，还会出现“大数吃小数”的错误，导致分析结果的不合理。所以经常用标准差法、极值差法和功效系数法、定性数据的量化方法等来标准化数据。数据处理与数据建模方法涉及的方面包括数据类型一致化方法、数据的规范化方法、标准差方法、极值差方法、功效系数方法。将数据做可比性的处理。
分析的结果需要进行进一步的检验和论证，统计检验在数据处理中是必要的。常用的统计检验方法包括假设检验、T检验、χ2检验、F检验和显著性检验等。通过统计检验来论证分析方法是否可行，分析结果是否符合实际。
目前有一种说法是统计方法不必致力于寻找逻辑上真正的因果关系，只要寻找事物之间的相关关系即可，因为对企业而言，只要能从数据挖掘的信息中发现某种措施与增加企业利润有较强的相关性，采取这种措施就是了，只要符合最大利润原则，不必深究为什么能增加利润，更不必发现其背后的内在规律和模型。其实长远而言，这种做法是不可取的，不发现数据背后内在的规律和模型，就没有一个长远的目标，就会只注重眼前利益，这是非常危险的信号。因为有些事物的本质不能通过短期的数据处理来发现，就像透过现象看本质是一个道理。虽说从数据直接到价值是一条捷径，但捷径背后的意义一样需要深入考虑。模型是现实问题的抽象，是使用数学语言来描述问题及量化问题。机理是模型的骨骼，数据是模型的血液，在大数据概念下，很多机构和公司会加大搜集力度，增加数据种类和质量，那么模型必然向复杂性更高的方向演化，复杂性更高的模型，能够更加清晰的剖析问题。
数学建模不是新东西[2]，就其实质而言，可以说凡是有数学应用就有数学建模，但是它的发展依赖于方法和技巧的不断提升。在计算机信息技术迅速发展的今天，数学建模也得到了蓬勃的发展，使得数学不仅仅是一门工具性学科，还是一门技术。当代科技的一个突出特点是数据量化，人们在许多现代化的设计和控制中都需要有具体的数字指标，这就形成了无处不在的大数据。目前要把数学建模渗透到科技发展的每个角落，如何处理大数据就变成了一个发展的，开放性的问题。既然大数据涉及到现代化生活的方方面面，那么也就需要数学与各个专业方法的相互融合[3]，研究大数据的内在机理。要做好建模这件事情，我们需要了解更多的专业知识，学习更多的专业技能，更要了解大数据背后的网络分析。网络的参数和性质也许能刻画大数据背后的网络共性，这是我们在数学建模过程中需要深入探讨的问题。在日新月异的当今时代，要做好大数据的统计处理，要有合理的数学模型作为支撑，方法是科技长足发展的内在动力。
大数据时代的到来不但给数学建模带来挑战，更为我们提供了机遇，新的时代环境为仿真技术的发展打开了大门，只要打破常规，放开思路，用于创新，数学建模的革命必将到来。近年来数学建模竞赛的规模越来越大，水平越来越高，赛题呈现出综合性、实用性和创新性等特点。更重要的是贴近实际的海量数据的融入，加深了题目的复杂性，求解结果也变得不确定。这时候要求数学建模方法要更富有创新性、灵活性和开放性。模型更贴近实际、打破原有的方法、能解决实际问题。这样才能使比赛变得更有意义。实际教学过程中加深数学建模对大数据的处理，能提高学生的数学能力，处理现实问题的能力，还能对专业数据做相应处理，更重要的是能够体现数学的魅力，数学的价值！
参考文献：
[1]毕长剑，大数据时代建模与仿真面临的挑战计算机仿真[J]；2014年第31卷第1期.
[2]张云霞，数学建模与高等数学教学[J]；2001年第8期.
[3]候政；高职数学如何更好的与专业结合[J]；中国科教创新导刊；2009年第08期.
关键词：数据处理；数学建模；大数据
中图分类号：G642 文献标识码：A 文章编号：1671-864X（2014）09-0092-02
随着计算机科学技术的不断发展，人类社会已进入大数据时代。所谓大数据，是指数据量特别大，无法通过目前主流的计算软件工具，在合理时间内处理、并整理统计为帮助企业经营决策的信息。除了数据类型繁多之外，数据的真实性高、但价值密度低成为大数据的主要特点。如今如何使用大数据，哪些技术能更好地处理大数据是企业关注的问题。
数学在处理数据方面的作用是巨大的，其所创造的价值更是无法估量。华尔街早就开始招聘精通数据分析的理论数学家来为其设计金融产品。IBM 现在是全球数学博士的最大雇主，数学家正在将其数据分析的才能应用于石油勘探、医疗健康等各个领域。数学也开始走出象牙塔，与各个专业领域进行深度融合。
随着数据量越来越大，也使传统的数学建模受到严重挑战。数学在处理数据方面经历了下面几个过程，上个世纪 80年代，数学热促使了数学建模的发展，但经典的数学模型对带有观测误差的数据处理能力有限；90年代出现了信息热，然而当时的信息处理技术在很多方面难以达到使用的标准；从90年代中期，统计学成为大众消费数据的热点，使得统计学家从学术理论走到了现实世界，从而出现了统计建模。然而随着大数据体量不断增加、类型复杂，统计建模方法已不能完全胜任。近几年，数据采集、数据处理、数据建模、数据应用等方法现已成为新热点。使数据处理方法变得多样而实用。
大数据分析通过分析获取有价值的信息，最终确定信息是否为决定性因素。主要研究的理论有：第一，可视化分析。为了能够直观呈现数据的特点和规律，通常用可视化方法呈现大数据特点，便于人们认识和接受。第二，数据挖掘，它是大数据分析理论的核心。通过快速高效的算法，将不同属性的数据规律呈现出来，并深入数据内部挖掘出数据的内在规律。第三，数据得正确性和可靠性研究。在实际应用中，高质量的数据有利于保证分析结果的可靠性。第四，预测性分析。即预测事物未来发展的规律。建立科学合理的数学模型，对预测结果的正确性尤为重要。
大数据研究不同于传统的逻辑推理研究，而是对数量巨大的数据做统计性的搜索比较、聚类分析、模式识别、主成分分析、判别分析、对应分析、最优尺度分析等统计分析归纳，因此继承了统计科学的一些特点。以此来判断数据之间的相互关系，以及关联程度，即数据的相关性，并进一步发现多个变量的取值之间存在的某种规律性，找出数据集里隐藏的相互关系，一般用支持度、可信度等参数反映相关性。
数据分析过程中掌握高效快速的处理方法是解决问题的关键。在大数据时代，由于数据量的快速膨胀、数据来源复杂、价值潜伏、处理速度快等特点，一些基于精确分析的科研方法越来越赶不上时代的步伐，非精确的计算方法急需出现，研究试图找到一种模糊解决问题的手段。近来关于大数据的建模分析方法主要包括数据采集，数据存取，基础架构，分布式文件存储和云存储等。
聚类分析是数学统计建模的一种常用的方法。是对于同类事物按照某些指标数据的特性（如相似程度、亲疏关系等）来进行分类。一般事物的特性带有模糊性，为此可确定相应的模糊矩阵，通常需要设置一个置信水平λ，由不同λ值可以得到不同的分类结果。也就是说，分类结果与置信水平之间有很强的关系，置信水平为多少需要根据实际问题进行经验和论证，这一点是至关重要的，一定程度上决定了模型的好坏。那么不难看出聚类分析的分类标准是未知的。模式识别也是统计建模的方法。已知将整体事物分为若干类型的标准模式，而对于一个或多个确定的对象按照一定的原则识别它们属于哪一类。包括：最大隶属度原则、贴近度原则、单特性择近原则、多特性择近原则等。显然模式识别是在分类标准已知的前提下计算的。
分析过程还需要做标准化处理。在实际中各类数据之间，往往存在着不可公度性，难以做统一的数据分析和比较，比如质量和长度本来就是两类相互独立的度量单位，如果不加处理的进行比较必然没有意义，还会出现“大数吃小数”的错误，导致分析结果的不合理。所以经常用标准差法、极值差法和功效系数法、定性数据的量化方法等来标准化数据。数据处理与数据建模方法涉及的方面包括数据类型一致化方法、数据的规范化方法、标准差方法、极值差方法、功效系数方法。将数据做可比性的处理。
分析的结果需要进行进一步的检验和论证，统计检验在数据处理中是必要的。常用的统计检验方法包括假设检验、T检验、χ2检验、F检验和显著性检验等。通过统计检验来论证分析方法是否可行，分析结果是否符合实际。
目前有一种说法是统计方法不必致力于寻找逻辑上真正的因果关系，只要寻找事物之间的相关关系即可，因为对企业而言，只要能从数据挖掘的信息中发现某种措施与增加企业利润有较强的相关性，采取这种措施就是了，只要符合最大利润原则，不必深究为什么能增加利润，更不必发现其背后的内在规律和模型。其实长远而言，这种做法是不可取的，不发现数据背后内在的规律和模型，就没有一个长远的目标，就会只注重眼前利益，这是非常危险的信号。因为有些事物的本质不能通过短期的数据处理来发现，就像透过现象看本质是一个道理。虽说从数据直接到价值是一条捷径，但捷径背后的意义一样需要深入考虑。模型是现实问题的抽象，是使用数学语言来描述问题及量化问题。机理是模型的骨骼，数据是模型的血液，在大数据概念下，很多机构和公司会加大搜集力度，增加数据种类和质量，那么模型必然向复杂性更高的方向演化，复杂性更高的模型，能够更加清晰的剖析问题。
数学建模不是新东西[2]，就其实质而言，可以说凡是有数学应用就有数学建模，但是它的发展依赖于方法和技巧的不断提升。在计算机信息技术迅速发展的今天，数学建模也得到了蓬勃的发展，使得数学不仅仅是一门工具性学科，还是一门技术。当代科技的一个突出特点是数据量化，人们在许多现代化的设计和控制中都需要有具体的数字指标，这就形成了无处不在的大数据。目前要把数学建模渗透到科技发展的每个角落，如何处理大数据就变成了一个发展的，开放性的问题。既然大数据涉及到现代化生活的方方面面，那么也就需要数学与各个专业方法的相互融合[3]，研究大数据的内在机理。要做好建模这件事情，我们需要了解更多的专业知识，学习更多的专业技能，更要了解大数据背后的网络分析。网络的参数和性质也许能刻画大数据背后的网络共性，这是我们在数学建模过程中需要深入探讨的问题。在日新月异的当今时代，要做好大数据的统计处理，要有合理的数学模型作为支撑，方法是科技长足发展的内在动力。
大数据时代的到来不但给数学建模带来挑战，更为我们提供了机遇，新的时代环境为仿真技术的发展打开了大门，只要打破常规，放开思路，用于创新，数学建模的革命必将到来。近年来数学建模竞赛的规模越来越大，水平越来越高，赛题呈现出综合性、实用性和创新性等特点。更重要的是贴近实际的海量数据的融入，加深了题目的复杂性，求解结果也变得不确定。这时候要求数学建模方法要更富有创新性、灵活性和开放性。模型更贴近实际、打破原有的方法、能解决实际问题。这样才能使比赛变得更有意义。实际教学过程中加深数学建模对大数据的处理，能提高学生的数学能力，处理现实问题的能力，还能对专业数据做相应处理，更重要的是能够体现数学的魅力，数学的价值！
参考文献：
[1]毕长剑，大数据时代建模与仿真面临的挑战计算机仿真[J]；2014年第31卷第1期.
[2]张云霞，数学建模与高等数学教学[J]；2001年第8期.
[3]候政；高职数学如何更好的与专业结合[J]；中国科教创新导刊；2009年第08期.