基于云计算平台的并行主元分析方法的设计与实现

• 作 者: 包鸿基
• 机 构: 北京大学
• 出 处: 北京大学
• 发表日期: 2010年期

信息技术的高速发展所带来的数据规模的海量性，使传统的主元分析方法难以满足大规模数据的处理需求。在移动通信领域，不断普及的手机业务使得运营商积累了海量的用户数据。主元分析方法不仅能够分析海量数据的主要成份，还能够对其进行降维、压缩和去噪，从而减小存储压力和提高数据挖掘的准确性，对于数据分析和挖掘具有重要的意义。因此，设计和实现一种面向海量数据处理的、高效的主元分析方法成为移动通信运营商进行数据分析的迫切需求。飞速发展的云计算技术，为我们提供了一种解决海量数据存储和处理的新的方案，也为设计一种面向海量数据处理的主元分析方法提供了新的途径。　　
本文通过对主元分析方法和基于云计算平台的并行算法设计架构的深入研究，提出了一种高效的基于云计算平台的并行主元分析方法。与传统的基于属性分割的并行主元分析算法不同，该算法依据对主元分析方法相关公式的变换，设计了一种基于元组分割的并行计算架构。该并行计算架构适应大部分数据集特别是移动通信业务数据集的特点--属性数目相对稳定而元组数目增长迅速，这就使得该并行架构显著减小了分布式集群并行计算时的数据冗余，从而提高了并行计算的效率和算法的可扩展性。基于元组分割的并行主元分析方法主要分为三个模块：（1）并行数据预处理模块负责把输入数据集转换为符合主元分析方法要求的数据格式；（2）并行计算降维模型模块负责基于主元分析理论从格式化的输入数据集中提取出降维模型；（3）并行数据降维模块负责利用降维模型，将原有的数据降维。　　
感谢中国移动通信研究院为我们提供实验平台--“Big cloud--大云”。我们将方法实现并部署在由128台机器构建的云计算集群上，采用中国移动通信集团大规模真实业务数据集对算法进行了评估。实验结果表明，基于云计算平台的并行主元分析方法性能优良，在效率、内存耗费、扩展性等诸多方面均优于传统的并行主元分析方法。