论文部分内容阅读
大数据趋势已势不可当，目前的关键在于企业用户如何应对这样的趋势。其实，百度、淘宝等互联网企业已经开始挖掘和利用大数据的价值。“但行业才是中国大数据产业应用和发展的主体，因此发展大数据产业不仅应该关注互联网领域，更应该关注行业领域。”浪潮集团高级副总裁王恩东认为，“行业客户的数据质量高、规模大，挖掘价值远高于互联网。”为此，浪潮集团于11月27日推出基于全新技术架构的大数据处理平台——云海大数据一体机，并发布大数据整体战略。
降低行业应用门槛
行业是中国大数据产业应用的主体，也是浪潮大数据战略的核心着眼点。据王恩东介绍，经历了“十二金”工程、数据大集中等建设周期过后，金融、电信、工商、交通、卫生等行业已经积累下大量的数据资产。在国家政府服务转型、转变发展方式的大背景下，各个行业机构迫切需要将海量的、异构的数据转化为对外服务，转化为业务竞争力。这些数据价值密度高，经过浅度处理便可产生巨大的价值，因此推动大数据在行业中的应用是产业发展的关键。
确实，行业大数据的应用不同于互联网。它的数据关联性强、应用复杂、跨度大，并且行业用户对数据处理的准确性、响应及时性要求也远远高于互联网领域。互联网各类大数据模糊处理技术难以满足行业用户的精确处理要求。类型复杂、增长迅速的数据累计规模超出了传统的数据处理技术所能承受的范围。处于IT新老架构更替期，大数据面临技术流派众多、缺乏协调的局面，硬件、软件、整合性产品较少，导致用户在部署、业务开发和运维等环节存在许多问题，限制了大数据的应用进程。王恩东表示，用户迫切需要企业提供适应行业大数据应用特点的全新的处理技术，提供软硬件一体化整合性服务和产品。浪潮的云海大数据一体机正是面向大数据存储、处理、展现全环节的软硬一体化的方案型产品，同时提供全环节服务保障，解决用户在应用过程中面临的软硬件部署、二次开发等问题，期望帮助行业客户在原有架构的扩展瓶颈和新技术条件下降低应用门槛。
四大系列一体机
值得关注的是，浪潮此次推出的云海大数据一体机并非一款产品，而是在大数据战略下的四大系列产品。据浪潮集团系统软件总监、云计算产品部总经理张东介绍，目前，浪潮云海大数据一体机面向重载应用、通用数据应用、海量并发的轻量级线程类应用，可提供三个系列的个性化产品，同时还为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。
第一类处理像密集型重载应用，主要指视频数据的挖掘，在线交易这样的大计算量、高数据耦合度的工作负载。为此云海大数据一体机SDA-1系列的特点就是，针对重载节点配置“大CPU，大内存”，并可增加专用的加速芯片。第二类应用主要为通用大数据处理，主要指模拟计算、商业智能、医疗数据挖掘等应用。大数据一体机SDA-2系列追求的是计算、存储和I/O的平衡配置。第三类海量并发轻量级应用，比如企业搜索等应用。云海大数据一体机SDA-3系列就采用多核多线程低功耗处理器，并优化并发线程来快速响应用户需求。而针对行业关键处理系统和高安全、高保密应用，云海大数据一体机SDA-4系列则为全国产化组件。浪潮集团高级副总裁王恩东表示，数据处理将走向专业化，具体表现就是方案产品化、产品系列化和应用细分化。浪潮大数据产品线将随着用户应用水平的提高而不断完善。
此外，云海大数据一体机经过全局性的优化，性能、可用性、效率等关键技术指标方面有了大幅提升。张东表示，浪潮采用硬件加速技术，设计了专门的FPGA模块固化特定算法，并集成多级缓存，数据排序性能提高了50%以上；系统任务调度策略是影响系统响应及时性的重要技术，浪潮开发了动态调整任务执行模块，有效减少了慢任务数量，任务执行时间平均缩短16%；副本数量和存储效率是难以调和的矛盾，浪潮引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求的同时平衡数据冗余度，所设计的两副本加编码的方式相对三副本最大可实现30%的空间节省。
降低行业应用门槛
行业是中国大数据产业应用的主体，也是浪潮大数据战略的核心着眼点。据王恩东介绍，经历了“十二金”工程、数据大集中等建设周期过后，金融、电信、工商、交通、卫生等行业已经积累下大量的数据资产。在国家政府服务转型、转变发展方式的大背景下，各个行业机构迫切需要将海量的、异构的数据转化为对外服务，转化为业务竞争力。这些数据价值密度高，经过浅度处理便可产生巨大的价值，因此推动大数据在行业中的应用是产业发展的关键。
确实，行业大数据的应用不同于互联网。它的数据关联性强、应用复杂、跨度大，并且行业用户对数据处理的准确性、响应及时性要求也远远高于互联网领域。互联网各类大数据模糊处理技术难以满足行业用户的精确处理要求。类型复杂、增长迅速的数据累计规模超出了传统的数据处理技术所能承受的范围。处于IT新老架构更替期，大数据面临技术流派众多、缺乏协调的局面，硬件、软件、整合性产品较少，导致用户在部署、业务开发和运维等环节存在许多问题，限制了大数据的应用进程。王恩东表示，用户迫切需要企业提供适应行业大数据应用特点的全新的处理技术，提供软硬件一体化整合性服务和产品。浪潮的云海大数据一体机正是面向大数据存储、处理、展现全环节的软硬一体化的方案型产品，同时提供全环节服务保障，解决用户在应用过程中面临的软硬件部署、二次开发等问题，期望帮助行业客户在原有架构的扩展瓶颈和新技术条件下降低应用门槛。
四大系列一体机
值得关注的是，浪潮此次推出的云海大数据一体机并非一款产品，而是在大数据战略下的四大系列产品。据浪潮集团系统软件总监、云计算产品部总经理张东介绍，目前，浪潮云海大数据一体机面向重载应用、通用数据应用、海量并发的轻量级线程类应用，可提供三个系列的个性化产品，同时还为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。
第一类处理像密集型重载应用，主要指视频数据的挖掘，在线交易这样的大计算量、高数据耦合度的工作负载。为此云海大数据一体机SDA-1系列的特点就是，针对重载节点配置“大CPU，大内存”，并可增加专用的加速芯片。第二类应用主要为通用大数据处理，主要指模拟计算、商业智能、医疗数据挖掘等应用。大数据一体机SDA-2系列追求的是计算、存储和I/O的平衡配置。第三类海量并发轻量级应用，比如企业搜索等应用。云海大数据一体机SDA-3系列就采用多核多线程低功耗处理器，并优化并发线程来快速响应用户需求。而针对行业关键处理系统和高安全、高保密应用，云海大数据一体机SDA-4系列则为全国产化组件。浪潮集团高级副总裁王恩东表示，数据处理将走向专业化，具体表现就是方案产品化、产品系列化和应用细分化。浪潮大数据产品线将随着用户应用水平的提高而不断完善。
此外，云海大数据一体机经过全局性的优化，性能、可用性、效率等关键技术指标方面有了大幅提升。张东表示，浪潮采用硬件加速技术，设计了专门的FPGA模块固化特定算法，并集成多级缓存，数据排序性能提高了50%以上；系统任务调度策略是影响系统响应及时性的重要技术，浪潮开发了动态调整任务执行模块，有效减少了慢任务数量，任务执行时间平均缩短16%；副本数量和存储效率是难以调和的矛盾，浪潮引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求的同时平衡数据冗余度，所设计的两副本加编码的方式相对三副本最大可实现30%的空间节省。