论文部分内容阅读
现代经济活动对于数据的依赖是前所未有的。今天，信息甚至被视为21世纪的“石油”，数据已变成生产资料，与硬资产和人同等重要，这也是为什么海量数据会在各行各业出现。在麦肯锡的一份调查报告中，仅就商业数据及射频数据而言，美国15个主要行业中每家公司过去一年所产生的数据量，就超过了同期美国国会图书馆所存储的数据量（235TB）。
在中国，产生大数据的行业同样层出不穷。比如，与智慧城市相关的项目所产生的数据量，就达到了200PB。而如何将海量数据转化为城市治理的方法，则是“平安城市”建设过程中亟待破解的课题。
需求转变引发计算框架改变
平安城市是一个特大型的管理系统，综合性非常强。它的建设目标是满足治安管理、城市管理、交通管理、应急指挥等需求，往往还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，并考虑报警、门禁等配套系统的集成以及与广播系统的联动。如何做到对海量视频数据的精准分析，正是平安城市的“大数据”痛点。
近年来数据量爆发式的增长已经将安防行业变成了典型的大数据行业。从“事后查看”到“事前预警”的需求变化，也为安防行业以视频为核心的应用带来了巨大挑战。海康威视副总裁、CTO 蒋海青告诉记者，在各类的平安城市建设项目中，依靠大数据分析技术，从海量视频图像中提取有效的安防信息，早已成为业界共识。而城市安全建设对大联网的要求，也让云计算、物联网这样的IT基础架构成为新型平安城市的首选。
对平安城市而言，其IT基础架构不仅要完成数据的采集、传输，更要支撑对海量视频数据的分析。计算平台是实现数据分析的核心，什么样的计算框架才是适合平安城市建设需求的呢？“在平安城市的安防项目中，视频数据有其特殊性，一方面，流量非常大，另一方面，对高清的要求也很高。一个高清视频的流量一般是8MB，数据则来自成千上万的摄像头，这些摄像头的信息又是24小时不间断传送的，数据就像长年累月不停流出来的水一样。如果采用全集中的计算框架，必然会存在很大风险，不仅数据传输容易出现瓶颈，还很容易导致灾难性的损失。而全分布式的计算框架也有问题，比如管理、运维会非常复杂，因为难以把专业的IT人员也分散到各个机房。所以，在计算框架上，我们所采用的其实是一种将二者相结合的计算框架，即区域性的、综合性的集中和概念上的分散，以便让我们的网络更有效地支撑其上的应用。”蒋海青表示，海康威视目前正在基于至强平台的Hadoop计算框架上进行研发，以期找到实现安防行业大数据分析的最佳方法。
大数据分析将属于开放平台
智能城市项目及物联网的发展，正在让大数据分析技术更广泛地为城市的智能交通监控、智能公共安全、气象和污染变化的智能监控及预测服务。蒋海青认为，目前虽然平安城市的IT基础架构的框架已经具备了实现大数据分析的能力，但在分析能力方面依旧存在短板。随着数据分析技术的演进，平安城市的应用才能丰满起来。
大数据分析的价值清晰可见，当前产业界以及行业用户对于加速大数据技术的发展和应用达成了共识，但相关技术的成熟不可能是一蹴而就的。英特尔认为，在相关IT基础设施与服务层、数据组织与管理层、数据分析与发现层、决策支持与IT服务层需要全面导入创新技术。特别是在堪称大数据应用“载体”的IT基础设施与服务层，采用基于开放架构的平台将是最佳选择。因为我们不断看到大数据飞速增长为更大的数据，IT基础架构的计算能力、存储能力和数据交换传输能力必须与这种成长速度相匹配，才能保证数据分析的实现。而实现这些能力的关键在于IT基础架构的可扩展性，特别是横向扩展的能力。能让其先天就具备强大、横向的可扩展性，并在实现这种扩展时拥有成本和性价比优势的，一定是基于开放架构的平台。
大数据处理任务对于开放架构平台的倚重，让英特尔在这一领域获得了越来越多合作伙伴与用户的关注。当前，英特尔正在倾力打造适用于大数据应用的“芯”，比如今年3月英特尔发布的至强E5系列，就是可为大数据应用中的分布式处理和高性能计算任务带来更优性能、能效、可扩展性和可管理性的计算平台。对于需要既有的关系型数据库和商业智能技术及应用来处理和分析的商业大数据，至强E7系列则可实现很好的支撑。针对大数据的分发和管理需求，英特尔还在与Hadoop合作，共推基于英特尔平台优化的Hadoop 产品和服务。
从另一个角度来看，大数据分析技术的演进也将对计算平台提出更高的要求，英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔表示，海量数据未来很可能会要求计算平台提供更强大的存储访问技术，如通过SSD或二级缓存直接访问内存等，所以英特尔还会继续加强硬件平台的优化。
在中国，产生大数据的行业同样层出不穷。比如，与智慧城市相关的项目所产生的数据量，就达到了200PB。而如何将海量数据转化为城市治理的方法，则是“平安城市”建设过程中亟待破解的课题。
需求转变引发计算框架改变
平安城市是一个特大型的管理系统，综合性非常强。它的建设目标是满足治安管理、城市管理、交通管理、应急指挥等需求，往往还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，并考虑报警、门禁等配套系统的集成以及与广播系统的联动。如何做到对海量视频数据的精准分析，正是平安城市的“大数据”痛点。
近年来数据量爆发式的增长已经将安防行业变成了典型的大数据行业。从“事后查看”到“事前预警”的需求变化，也为安防行业以视频为核心的应用带来了巨大挑战。海康威视副总裁、CTO 蒋海青告诉记者，在各类的平安城市建设项目中，依靠大数据分析技术，从海量视频图像中提取有效的安防信息，早已成为业界共识。而城市安全建设对大联网的要求，也让云计算、物联网这样的IT基础架构成为新型平安城市的首选。
对平安城市而言，其IT基础架构不仅要完成数据的采集、传输，更要支撑对海量视频数据的分析。计算平台是实现数据分析的核心，什么样的计算框架才是适合平安城市建设需求的呢？“在平安城市的安防项目中，视频数据有其特殊性，一方面，流量非常大，另一方面，对高清的要求也很高。一个高清视频的流量一般是8MB，数据则来自成千上万的摄像头，这些摄像头的信息又是24小时不间断传送的，数据就像长年累月不停流出来的水一样。如果采用全集中的计算框架，必然会存在很大风险，不仅数据传输容易出现瓶颈，还很容易导致灾难性的损失。而全分布式的计算框架也有问题，比如管理、运维会非常复杂，因为难以把专业的IT人员也分散到各个机房。所以，在计算框架上，我们所采用的其实是一种将二者相结合的计算框架，即区域性的、综合性的集中和概念上的分散，以便让我们的网络更有效地支撑其上的应用。”蒋海青表示，海康威视目前正在基于至强平台的Hadoop计算框架上进行研发，以期找到实现安防行业大数据分析的最佳方法。
大数据分析将属于开放平台
智能城市项目及物联网的发展，正在让大数据分析技术更广泛地为城市的智能交通监控、智能公共安全、气象和污染变化的智能监控及预测服务。蒋海青认为，目前虽然平安城市的IT基础架构的框架已经具备了实现大数据分析的能力，但在分析能力方面依旧存在短板。随着数据分析技术的演进，平安城市的应用才能丰满起来。
大数据分析的价值清晰可见，当前产业界以及行业用户对于加速大数据技术的发展和应用达成了共识，但相关技术的成熟不可能是一蹴而就的。英特尔认为，在相关IT基础设施与服务层、数据组织与管理层、数据分析与发现层、决策支持与IT服务层需要全面导入创新技术。特别是在堪称大数据应用“载体”的IT基础设施与服务层，采用基于开放架构的平台将是最佳选择。因为我们不断看到大数据飞速增长为更大的数据，IT基础架构的计算能力、存储能力和数据交换传输能力必须与这种成长速度相匹配，才能保证数据分析的实现。而实现这些能力的关键在于IT基础架构的可扩展性，特别是横向扩展的能力。能让其先天就具备强大、横向的可扩展性，并在实现这种扩展时拥有成本和性价比优势的，一定是基于开放架构的平台。
大数据处理任务对于开放架构平台的倚重，让英特尔在这一领域获得了越来越多合作伙伴与用户的关注。当前，英特尔正在倾力打造适用于大数据应用的“芯”，比如今年3月英特尔发布的至强E5系列，就是可为大数据应用中的分布式处理和高性能计算任务带来更优性能、能效、可扩展性和可管理性的计算平台。对于需要既有的关系型数据库和商业智能技术及应用来处理和分析的商业大数据，至强E7系列则可实现很好的支撑。针对大数据的分发和管理需求，英特尔还在与Hadoop合作，共推基于英特尔平台优化的Hadoop 产品和服务。
从另一个角度来看，大数据分析技术的演进也将对计算平台提出更高的要求，英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔表示，海量数据未来很可能会要求计算平台提供更强大的存储访问技术，如通过SSD或二级缓存直接访问内存等，所以英特尔还会继续加强硬件平台的优化。