论文部分内容阅读
过去一年，“大数据”正在成为一个热门话题。
半个世纪信息技术的发展，主要解决的是云计算中“结构性”数据的存储、处理与应用。“结构性”数据的特征有如你到银行去存取款，银行的计算机系统记录着你的名字，在名字之后是你存取款的数量、时间、类型等信息。这些数据的特征是“逻辑性强”，每个“因”都有“果”。
然而现实社会中大量数据事实上没有“显现性”的因果关系，如一个时刻的交通堵塞、天气状态、人的状态（心理与物理）等，它的特征是随时、海量与弹性，如一个突变天气分析包含会有几百个PB（Petabyte, 1Petabyte=1024TB）数据。而一个社会事件如乔布斯去世瞬间所产生在互联网上的数据（微博、纪念、文章、视频等）也是突然暴发出来。
传统的计算机设计与软件都是以解决“结构性”数据为主。对这一类新型的“非结构”要求一种新的计算架构。互联网时代，尤其是社交网络、电子商务与移动通讯把人类社会带入一个以“PB”为单位的结构与非结构数据信息的新时代，它就是“大数据（Big Data）”时代。
大数据的企业与技术
一个大规模生产、分享、应用数据的时代正在开启，我们每个人都成为了数据的创造者和使用者，微博、社交网络都是最好的例子。
工业革命以后，书籍等以文字为载体的知识大约每十年可以翻一番；1970年以后，知识大约每三年就可以翻一番；如今，全球信息总量每两年就可以翻一番；2010年互联网的数据量，比之前所有年份的总和还要多。现在，人类每天可以产生数以PB的数据，从日志、微博、分享照片、传送视频，多种格式的数据实时、不断地更新。在医疗卫生、地理信息、电子商务、影视娱乐等行业，每天也都在创造着大量的数据。
数据正在成为从工业经济向知识经济转变的重要特征，成为新时代最关键的生产要素和产品形态。
代表着大数据时代的如Apple、Facebook、Amazon等公司正成为这场变革的推动力量。同时新企业也层出不穷，比如2007年才成立的Dropbox公司，创始人不到27岁，估值已经超过40亿美元，这是一家提供文件备份及共享服务的公司，允许用户在不同平台和设备之间同步并共享文件，Dropbox用户数量超过2500万，每天存储的文件数量2亿多个，苹果公司曾出价8亿美元想收购它未成功。
值得一提的是，这家公司最早使用的也是Amazon的S3云计算平台，得以低成本迅速起步。Amazon云计算数据存储服务，原来只是为了利用闲置服务器资源，现在一年可以带来近10亿美元收入，并且供不应求。今年初，Amazon S3云存储服务存储文件是2620亿份，这个数字最近变成了5660亿份，翻了1倍还多。目前Amazon称自己的S3数据存储服务，担心的已经不是数据的存储成本，而是更加重要的数据处理的问题。
云计算中的大数据有几个核心要素，如数据在云端的集合与分享、个人数据的无缝连接（随时、随地、同步）以及数据的跟踪分析和挖掘。
源自雅虎的Hadoop这样大数据系统越来越重要，作为开源的分布式数据处理系统架构，Hadoop主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的MapReduce能将大数据问题分解成多个子问题，将它们分配到成百上千个处理节点之上，再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。
Hadoop已经成为AOL、Facebook、Twitter和Netflix这些公司大数据分析的主要解决方案。比如像Facebook一天的数据要比很多大公司一年的数据还要多，他们通过Hadoop收集和存储每天生成的数百万的文件，使用开源Apache Hive数据仓库工具集中对这些数据进行分析。
Opera Solutions这样的创新公司提供的服务更加引人注目：客户将数据上传到Opera平台，Opera就会根据用户数据池里的相关“信号”进行分析，根据每个客户的个性化需求，Opera雇佣各行业的专家来帮助他们进行数据分析，Opera Solutions的年营业额已经超过1亿美元。
新的创业公司像MapR、Zettaset、Cloudera、HStreaming这些和Hadoop相关的大数据公司，在资本市场倍受青睐。它的快速成长将会成为下一个改变信息技术的力量。
大数据的经济意义
大数据为云计算大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步，为全世界新型软、硬件及应用创新提供了前所未有的机会。
海量的数据需要足够存储来容纳它，快速、低廉价格、绿色的数据中心部署成为关键。最近一年多来，谷歌、Facebook、Rackspace等公司都在纷纷建设新一代的数据中心，大部分都采用更高效、节能、定制化的云服务器，用于大数据存储、挖掘和云计算业务。
数据中心正在成为新时代的“信息电厂”，成为知识经济的基础设施。从海量数据中提取有价值的信息，数据分析使数据变得更有意义，并将影响政府、金融、零售、娱乐、媒体等各个领域，带来革命性的变化。以投资Facebook而著名的风险投资机构Accel Partners 表示：“大数据是信息技术未来发展的战略走向，将催生下一代价值数万亿美元的软件企业。”
大数据将丰富我们对世界的认识。从定量、结构的世界，到不确定、非结构的世界。这个转变，使我们得以了解真实信息，提高决策水平，当社会对自然的数据有较为完善、随时的分析能力时，我们对事件的把握及预测能力便增强。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具，通过对大数据分析、预测会使得决策更为精准，这对现阶段的中国尤其重要。
中国有着庞大的人群和应用市场，复杂性高、充满变化，如此庞大的用户群体，使中国成为世界上最大数据的国家。解决这种由大规模数据引起的问题，探索以大数据为基础的解决方案，是中国产业升级，效率提高的重要手段。
“数据银行”与“云存储”
“数据银行”概念逐渐变为应用的试点。将有公司把我们产生的数据如金钱资产一样，放在“数据银行”中储存起来。
企业计算在大数据环境中可以将已有数据和文档向云计算环境迁移，加快云环境下的数据管理、数据挖掘等软件应用，进行商业模式探索和数字化决策。政府可以通过海量数据的存储、分享，进行分析和应用，通过数据共享和业务协同，提升办公智能和决策效率，解决城市交通、人口管理、公共安全、医疗卫生等诸多难题。
数据不仅代表着生产力，还将成为重要的资产，或许在将来，我们留给下一代的资产，不是银行里有多少存款，而是信息资产；也许10年、15年之后，会有国家的数据银行，相对今天的财富资产，里面保存的是我们的信息资产。
大数据的各种基础及应用软件、硬件产品会逐步推出，而这方面中国创业型企业与硅谷距离也在缩短。今年底我们投资的北京超云计算机公司，将在北京亦庄与硅谷一家企业同时推出世界首台解决大数据问题的“Hadoop”服务器。
“云存储”将会由于苹果的“iCloud”而逐渐流行起来。传统的家电企业提供“云家电”将成为应用热点。大规模、海量的“云数据”中心建设会成为全球与中国下轮基础设施投资重点。
无论云计算还是大数据技术与应用，今天还是早期发展阶段，相当于上世纪80年代初的个人计算机。我们已看到它广阔的应用前景及改变世界经济的力量。但是我们仍无法准确地预知什么样的商业模式与什么样的企业、企业家会取得最终的成功。探索、学习与试错是进入这个新世界之门的唯一钥匙。
作者为中国宽带产业基金董事长
半个世纪信息技术的发展，主要解决的是云计算中“结构性”数据的存储、处理与应用。“结构性”数据的特征有如你到银行去存取款，银行的计算机系统记录着你的名字，在名字之后是你存取款的数量、时间、类型等信息。这些数据的特征是“逻辑性强”，每个“因”都有“果”。
然而现实社会中大量数据事实上没有“显现性”的因果关系，如一个时刻的交通堵塞、天气状态、人的状态（心理与物理）等，它的特征是随时、海量与弹性，如一个突变天气分析包含会有几百个PB（Petabyte, 1Petabyte=1024TB）数据。而一个社会事件如乔布斯去世瞬间所产生在互联网上的数据（微博、纪念、文章、视频等）也是突然暴发出来。
传统的计算机设计与软件都是以解决“结构性”数据为主。对这一类新型的“非结构”要求一种新的计算架构。互联网时代，尤其是社交网络、电子商务与移动通讯把人类社会带入一个以“PB”为单位的结构与非结构数据信息的新时代，它就是“大数据（Big Data）”时代。
大数据的企业与技术
一个大规模生产、分享、应用数据的时代正在开启，我们每个人都成为了数据的创造者和使用者，微博、社交网络都是最好的例子。
工业革命以后，书籍等以文字为载体的知识大约每十年可以翻一番；1970年以后，知识大约每三年就可以翻一番；如今，全球信息总量每两年就可以翻一番；2010年互联网的数据量，比之前所有年份的总和还要多。现在，人类每天可以产生数以PB的数据，从日志、微博、分享照片、传送视频，多种格式的数据实时、不断地更新。在医疗卫生、地理信息、电子商务、影视娱乐等行业，每天也都在创造着大量的数据。
数据正在成为从工业经济向知识经济转变的重要特征，成为新时代最关键的生产要素和产品形态。
代表着大数据时代的如Apple、Facebook、Amazon等公司正成为这场变革的推动力量。同时新企业也层出不穷，比如2007年才成立的Dropbox公司，创始人不到27岁，估值已经超过40亿美元，这是一家提供文件备份及共享服务的公司，允许用户在不同平台和设备之间同步并共享文件，Dropbox用户数量超过2500万，每天存储的文件数量2亿多个，苹果公司曾出价8亿美元想收购它未成功。
值得一提的是，这家公司最早使用的也是Amazon的S3云计算平台，得以低成本迅速起步。Amazon云计算数据存储服务，原来只是为了利用闲置服务器资源，现在一年可以带来近10亿美元收入，并且供不应求。今年初，Amazon S3云存储服务存储文件是2620亿份，这个数字最近变成了5660亿份，翻了1倍还多。目前Amazon称自己的S3数据存储服务，担心的已经不是数据的存储成本，而是更加重要的数据处理的问题。
云计算中的大数据有几个核心要素，如数据在云端的集合与分享、个人数据的无缝连接（随时、随地、同步）以及数据的跟踪分析和挖掘。
源自雅虎的Hadoop这样大数据系统越来越重要，作为开源的分布式数据处理系统架构，Hadoop主要面向存储和处理成百上千TB直至PB级别的结构化、半结构化或非结构化的大数据。Hadoop提供的MapReduce能将大数据问题分解成多个子问题，将它们分配到成百上千个处理节点之上，再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。
Hadoop已经成为AOL、Facebook、Twitter和Netflix这些公司大数据分析的主要解决方案。比如像Facebook一天的数据要比很多大公司一年的数据还要多，他们通过Hadoop收集和存储每天生成的数百万的文件，使用开源Apache Hive数据仓库工具集中对这些数据进行分析。
Opera Solutions这样的创新公司提供的服务更加引人注目：客户将数据上传到Opera平台，Opera就会根据用户数据池里的相关“信号”进行分析，根据每个客户的个性化需求，Opera雇佣各行业的专家来帮助他们进行数据分析，Opera Solutions的年营业额已经超过1亿美元。
新的创业公司像MapR、Zettaset、Cloudera、HStreaming这些和Hadoop相关的大数据公司，在资本市场倍受青睐。它的快速成长将会成为下一个改变信息技术的力量。
大数据的经济意义
大数据为云计算大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。同时这个领域的计算标准与软件均刚刚起步，为全世界新型软、硬件及应用创新提供了前所未有的机会。
海量的数据需要足够存储来容纳它，快速、低廉价格、绿色的数据中心部署成为关键。最近一年多来，谷歌、Facebook、Rackspace等公司都在纷纷建设新一代的数据中心，大部分都采用更高效、节能、定制化的云服务器，用于大数据存储、挖掘和云计算业务。
数据中心正在成为新时代的“信息电厂”，成为知识经济的基础设施。从海量数据中提取有价值的信息，数据分析使数据变得更有意义，并将影响政府、金融、零售、娱乐、媒体等各个领域，带来革命性的变化。以投资Facebook而著名的风险投资机构Accel Partners 表示：“大数据是信息技术未来发展的战略走向，将催生下一代价值数万亿美元的软件企业。”
大数据将丰富我们对世界的认识。从定量、结构的世界，到不确定、非结构的世界。这个转变，使我们得以了解真实信息，提高决策水平，当社会对自然的数据有较为完善、随时的分析能力时，我们对事件的把握及预测能力便增强。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具，通过对大数据分析、预测会使得决策更为精准，这对现阶段的中国尤其重要。
中国有着庞大的人群和应用市场，复杂性高、充满变化，如此庞大的用户群体，使中国成为世界上最大数据的国家。解决这种由大规模数据引起的问题，探索以大数据为基础的解决方案，是中国产业升级，效率提高的重要手段。
“数据银行”与“云存储”
“数据银行”概念逐渐变为应用的试点。将有公司把我们产生的数据如金钱资产一样，放在“数据银行”中储存起来。
企业计算在大数据环境中可以将已有数据和文档向云计算环境迁移，加快云环境下的数据管理、数据挖掘等软件应用，进行商业模式探索和数字化决策。政府可以通过海量数据的存储、分享，进行分析和应用，通过数据共享和业务协同，提升办公智能和决策效率，解决城市交通、人口管理、公共安全、医疗卫生等诸多难题。
数据不仅代表着生产力，还将成为重要的资产，或许在将来，我们留给下一代的资产，不是银行里有多少存款，而是信息资产；也许10年、15年之后，会有国家的数据银行，相对今天的财富资产，里面保存的是我们的信息资产。
大数据的各种基础及应用软件、硬件产品会逐步推出，而这方面中国创业型企业与硅谷距离也在缩短。今年底我们投资的北京超云计算机公司，将在北京亦庄与硅谷一家企业同时推出世界首台解决大数据问题的“Hadoop”服务器。
“云存储”将会由于苹果的“iCloud”而逐渐流行起来。传统的家电企业提供“云家电”将成为应用热点。大规模、海量的“云数据”中心建设会成为全球与中国下轮基础设施投资重点。
无论云计算还是大数据技术与应用，今天还是早期发展阶段，相当于上世纪80年代初的个人计算机。我们已看到它广阔的应用前景及改变世界经济的力量。但是我们仍无法准确地预知什么样的商业模式与什么样的企业、企业家会取得最终的成功。探索、学习与试错是进入这个新世界之门的唯一钥匙。
作者为中国宽带产业基金董事长