论文部分内容阅读
8月22—24日，2014中国大数据国际高峰论坛在上海举行。记者随机采访了几位与会嘉宾，他们几乎异口同声地表示：大数据当前最紧迫的任务是加速落地，不能光讲概念，关键还是利用大数据为业务服务，促进应用创新。
不要太浮躁
“浮躁”，这是天云大数据首席执行官雷涛对当前中国大数据市场的整体感觉。中国用户已经逐渐认识到大数据的重要性，并且开始尝试做一些大数据的处理和分析工作，比如采用Hadoop、内存计算等技术构建分布式的大数据平台，一些电信运营商日均处理数据的规模达到了数百亿条，天云大数据帮助银行客户在其核心系统中采用了Hadoop等。但是，大多数的用户仍然习惯性地将大数据与BI（商业智能）结合在一起，按照BI的老路子处理大数据。而雷涛认为，这种作法对于大数据而言，无论是思想还是实施方法都是有问题的。“我们已经迈入DT（Data Technology）时代。在搭建起适合的大数据基础架构平台后，我们要学会如何更聪明地处理数据。在IT时代，人们更关注技术本身，而在DT时代，信息才是核心。”
北京腾云天下科技有限公司（TalkingData）联合创始人、副总裁蒋奇也认为，当前大数据的口号喊得多，而真正落地的大数据应用和成功的商业模式还比较少。“我们尝试用移动大数据实现风险管控，虽然实现起来难度比较大，而且有失败的风险，但我们仍然勇敢地进行尝试。”蒋奇表示，“最初，用户不断产生的新需求促使我们持续地改进自己的产品，增加新功能。后来，我们观察到一些新的数据消费需求，因此在开发通用的移动大数据平台的基础上，又增加了许多垂直应用，继续开拓游戏、电商、金融等细分市场。”
“在大数据方面，我们欠缺的是基础知识方面的教育，还有大数据的实施和应用经验。”赛仕（SAS）软件研究开发（北京）有限公司总经理刘政语重心长，“大数据的出现并不是要替代传统的结构化数据分析，而是一种有益的补充。不能单纯强调大数据在处理非结构化数据方面的长处，而忽视或放弃对结构化数据的分析。大数据若想发挥其价值，还是要依靠原来的技术基础。”
大数据价值逐渐显现
移动互联网领域是大数据应用的前沿。成立于2011年的TalkingData是一家独立的提供移动大数据服务的公司。截至今年7月底，TalkingData的数据服务已经覆盖8亿台终端设备。“以前，一个APP的开发团队没有渠道去了解和掌握其开发的APP的用户下载和使用情况。我们提供了一个云端的分析平台，可以从终端上提取APP用户的行为数据并进行分析，然后将结果反馈给APP开发团队，这样有利于其产品迭代。”蒋奇介绍说，“我们目前支持的应用超过4万个，滴滴打车、聚美优品和许多知名的游戏厂商都是我们的用户。”
TalkingData的目标客户群十分明确，就是个人消费者。蒋奇认为，只有为个人消费者提供服务才能真正展现大数据的价值。虽然服务的是个人消费者，但TalkingData合作的对象都是企业用户。帮助这些企业了解其客户的情况，实现精确营销是TalkingData的主要任务。蒋奇举例说，以前，采用线下发卡的方式，由于开卡周期长，招商银行的信用卡开卡率只有30%左右。招商银行希望改用线上发卡，但又苦于没有好的办法进行信用风险评估。TalkingData根据信用卡申请人提交的家庭地址、单位地址和所持移动设备的MAC地址信息，利用先进的算法可以反推并核实信用卡申请人提交的信息是否正确，而这一过程只需三五分钟。
利用从终端设备上获取的“去敏感”数据，TalkingData可以反算出设备拥有者的个人信息、喜好等，然后将这些信息提供给传统行业的用户，帮助他们实现业务增值。蒋奇表示：“未来，我们希望在机器学习、智能挖掘等技术方面更进一步，同时在算法上有新的突破。”
SAS在结构化数据分析方面拥有领先的技术和全面的解决方案。刘政认为，现在SAS已经可以很好地解决大数据“大”这个问题。用传统的方式处理几百行数据都要很长时间，但现在采用多线程、分布式的处理方式后，可以大大提高数据处理的效率。“传统的工作方式是从数据库中读取数据，然后建模、分析。现在，我们将计算模型放到数据库中，不用提取数据，在数据库中即可完成数据的处理和分析，从而提高了数据处理和分析的速度。利用内存处理技术，我们可以实时地进行数据处理。”刘政介绍说，“我们将可视化技术与内存技术相结合，几秒钟就可以把所有数据扫描一遍，并得到实时处理结果，这让大数据分析变得非常简单，就像使用傻瓜相机一样。”
大数据对各行各业都产生了积极的影响。人们开始利用大数据辅助决策，并取得了很好的效果。
数据可视化的演进
处于大数据生态系统顶端的数据可视化引起了越来越多人的关注。在数据实时处理方面颇有心得的SAS公司在数据可视化方面也充分展现了其速度上的优势。据刘政介绍，SAS公司将内存计算等技术运用于数据可视化，即使处理超过10亿行的数据也可以实时得到结果。SAS将数据的实时处理分析与数据可视化技术进行了很好的整合。
在数据可视化方面有20多年经验的Datawatch公司通过其在中国的惟一合作伙伴国泰安金融教育集团进入了中国市场。Datawatch公司董事总经理Karl Mouantri表示，电信、零售等希望通过大数据促进其业务发展的行业客户会最先使用数据可视化工具。在全球，许多知名的金融企业、IT公司和像波音、沃尔玛这样的传统行业的大客户都采用了Datawatch的数据可视化工具。国泰安金融教育集团将自己积累的行业数据与Datawatch的数据可视化工具进行整合，为中科院的科研数据分析提供了解决方案。在中国市场上，Datawatch并没有急功近利，它们希望通过与国泰安金融教育集团这样既有远见，又在金融、教育等行业有深厚积累的公司进行合作，扎扎实实地推进业务发展，同时从中国的高校起步，加强对学生的教育和培训，让他们对数据可视化有更深入的了解。 Karl Mouantri一直强调，Datawatch是一家具有颠覆性创新能力的公司，在大数据的实时处理和可视化技术方面拥有独特的优势。Datawatch的产品具有直观的数据可视化分析、全面的数据过滤和报警功能，能够处理不同来源的数据。“我们既可以处理经过预先清洗的数据，也可以直接采集原始数据。”Karl Mouantri介绍说，“有些经过清洗的数据可能会丢失一些重要的信息。为了得到更准确的分析结果，我们可以直接抓取原始数据并进行处理和展现。”
Karl Mouantri认为，对于大数据来说，数据可视化的工作是必须的。数据可视化不仅仅服务于企业的高层管理人员，而且也是企业的基层员工必备的工具，比如从事运维、仓储工作的员工也需要实时查看业务的进展。Karl Mouantri举例说，在美国，沃尔玛超市每天早、中、晚要三次清点货品，查漏补缺。因此，它们非常需要Datawatch的数据实时处理和可视化工具，以便实时监测数千种商品的情况。“我们要把沃尔玛超市的这种成功经验带到中国来。”Karl Mouantri表示。
不过，对于数据可视化的作用和必要性，雷涛有不同的观点。他认为，从数据采集、存储到处理、分析，再到可视化，这是传统BI的思路。但在DT时代，企业决策要扁平化，服务要下沉。
“我们帮助一个保险业的客户实现了数据库前置，将大数据分析的结果直接推送给18万名销售代表。我们给出的分析结果只是一个简单的提示，即某个销售人员最应该关注哪个客户，仅此而已。这时，传统的数据仪表盘就失去了作用。”雷涛表示，“现在，大量的数据来自于物联网，传统的数据可视化工具已经无能为力。我们必须采用新的架构、工具。”
链 接
2014中国大数据国际高峰论坛由中科院深圳先进技术研究院、中国量化投资研究院、复旦大学管理学院、《上海证券报》社和Datawatch公司共同主办，500余位国内外大数据产业界、学术界的顶尖专家和学者，以及国内IT、金融、教育、医疗等多个领域的代表汇聚一堂，共同探讨大数据产业的发展，分享大数据应用和创新成果，剖析各行业数据分析难题，寻求解决之道。
论坛以“大数据的创新、突破、腾飞”为主题，采用主题报告加专题论坛的形式。会议同期还举办了大数据技术与应用高级研修班。研修班由中科院深圳先进技术研究院国泰安金融大数据研究中心主办，聘请了国内外著名的大数据专家、学术界知名学者担任培训讲师。此举将对高校大数据人才培养、企业高效管理与创新发展产生积极的意义。
不要太浮躁
“浮躁”，这是天云大数据首席执行官雷涛对当前中国大数据市场的整体感觉。中国用户已经逐渐认识到大数据的重要性，并且开始尝试做一些大数据的处理和分析工作，比如采用Hadoop、内存计算等技术构建分布式的大数据平台，一些电信运营商日均处理数据的规模达到了数百亿条，天云大数据帮助银行客户在其核心系统中采用了Hadoop等。但是，大多数的用户仍然习惯性地将大数据与BI（商业智能）结合在一起，按照BI的老路子处理大数据。而雷涛认为，这种作法对于大数据而言，无论是思想还是实施方法都是有问题的。“我们已经迈入DT（Data Technology）时代。在搭建起适合的大数据基础架构平台后，我们要学会如何更聪明地处理数据。在IT时代，人们更关注技术本身，而在DT时代，信息才是核心。”
北京腾云天下科技有限公司（TalkingData）联合创始人、副总裁蒋奇也认为，当前大数据的口号喊得多，而真正落地的大数据应用和成功的商业模式还比较少。“我们尝试用移动大数据实现风险管控，虽然实现起来难度比较大，而且有失败的风险，但我们仍然勇敢地进行尝试。”蒋奇表示，“最初，用户不断产生的新需求促使我们持续地改进自己的产品，增加新功能。后来，我们观察到一些新的数据消费需求，因此在开发通用的移动大数据平台的基础上，又增加了许多垂直应用，继续开拓游戏、电商、金融等细分市场。”
“在大数据方面，我们欠缺的是基础知识方面的教育，还有大数据的实施和应用经验。”赛仕（SAS）软件研究开发（北京）有限公司总经理刘政语重心长，“大数据的出现并不是要替代传统的结构化数据分析，而是一种有益的补充。不能单纯强调大数据在处理非结构化数据方面的长处，而忽视或放弃对结构化数据的分析。大数据若想发挥其价值，还是要依靠原来的技术基础。”
大数据价值逐渐显现
移动互联网领域是大数据应用的前沿。成立于2011年的TalkingData是一家独立的提供移动大数据服务的公司。截至今年7月底，TalkingData的数据服务已经覆盖8亿台终端设备。“以前，一个APP的开发团队没有渠道去了解和掌握其开发的APP的用户下载和使用情况。我们提供了一个云端的分析平台，可以从终端上提取APP用户的行为数据并进行分析，然后将结果反馈给APP开发团队，这样有利于其产品迭代。”蒋奇介绍说，“我们目前支持的应用超过4万个，滴滴打车、聚美优品和许多知名的游戏厂商都是我们的用户。”
TalkingData的目标客户群十分明确，就是个人消费者。蒋奇认为，只有为个人消费者提供服务才能真正展现大数据的价值。虽然服务的是个人消费者，但TalkingData合作的对象都是企业用户。帮助这些企业了解其客户的情况，实现精确营销是TalkingData的主要任务。蒋奇举例说，以前，采用线下发卡的方式，由于开卡周期长，招商银行的信用卡开卡率只有30%左右。招商银行希望改用线上发卡，但又苦于没有好的办法进行信用风险评估。TalkingData根据信用卡申请人提交的家庭地址、单位地址和所持移动设备的MAC地址信息，利用先进的算法可以反推并核实信用卡申请人提交的信息是否正确，而这一过程只需三五分钟。
利用从终端设备上获取的“去敏感”数据，TalkingData可以反算出设备拥有者的个人信息、喜好等，然后将这些信息提供给传统行业的用户，帮助他们实现业务增值。蒋奇表示：“未来，我们希望在机器学习、智能挖掘等技术方面更进一步，同时在算法上有新的突破。”
SAS在结构化数据分析方面拥有领先的技术和全面的解决方案。刘政认为，现在SAS已经可以很好地解决大数据“大”这个问题。用传统的方式处理几百行数据都要很长时间，但现在采用多线程、分布式的处理方式后，可以大大提高数据处理的效率。“传统的工作方式是从数据库中读取数据，然后建模、分析。现在，我们将计算模型放到数据库中，不用提取数据，在数据库中即可完成数据的处理和分析，从而提高了数据处理和分析的速度。利用内存处理技术，我们可以实时地进行数据处理。”刘政介绍说，“我们将可视化技术与内存技术相结合，几秒钟就可以把所有数据扫描一遍，并得到实时处理结果，这让大数据分析变得非常简单，就像使用傻瓜相机一样。”
大数据对各行各业都产生了积极的影响。人们开始利用大数据辅助决策，并取得了很好的效果。
数据可视化的演进
处于大数据生态系统顶端的数据可视化引起了越来越多人的关注。在数据实时处理方面颇有心得的SAS公司在数据可视化方面也充分展现了其速度上的优势。据刘政介绍，SAS公司将内存计算等技术运用于数据可视化，即使处理超过10亿行的数据也可以实时得到结果。SAS将数据的实时处理分析与数据可视化技术进行了很好的整合。
在数据可视化方面有20多年经验的Datawatch公司通过其在中国的惟一合作伙伴国泰安金融教育集团进入了中国市场。Datawatch公司董事总经理Karl Mouantri表示，电信、零售等希望通过大数据促进其业务发展的行业客户会最先使用数据可视化工具。在全球，许多知名的金融企业、IT公司和像波音、沃尔玛这样的传统行业的大客户都采用了Datawatch的数据可视化工具。国泰安金融教育集团将自己积累的行业数据与Datawatch的数据可视化工具进行整合，为中科院的科研数据分析提供了解决方案。在中国市场上，Datawatch并没有急功近利，它们希望通过与国泰安金融教育集团这样既有远见，又在金融、教育等行业有深厚积累的公司进行合作，扎扎实实地推进业务发展，同时从中国的高校起步，加强对学生的教育和培训，让他们对数据可视化有更深入的了解。 Karl Mouantri一直强调，Datawatch是一家具有颠覆性创新能力的公司，在大数据的实时处理和可视化技术方面拥有独特的优势。Datawatch的产品具有直观的数据可视化分析、全面的数据过滤和报警功能，能够处理不同来源的数据。“我们既可以处理经过预先清洗的数据，也可以直接采集原始数据。”Karl Mouantri介绍说，“有些经过清洗的数据可能会丢失一些重要的信息。为了得到更准确的分析结果，我们可以直接抓取原始数据并进行处理和展现。”
Karl Mouantri认为，对于大数据来说，数据可视化的工作是必须的。数据可视化不仅仅服务于企业的高层管理人员，而且也是企业的基层员工必备的工具，比如从事运维、仓储工作的员工也需要实时查看业务的进展。Karl Mouantri举例说，在美国，沃尔玛超市每天早、中、晚要三次清点货品，查漏补缺。因此，它们非常需要Datawatch的数据实时处理和可视化工具，以便实时监测数千种商品的情况。“我们要把沃尔玛超市的这种成功经验带到中国来。”Karl Mouantri表示。
不过，对于数据可视化的作用和必要性，雷涛有不同的观点。他认为，从数据采集、存储到处理、分析，再到可视化，这是传统BI的思路。但在DT时代，企业决策要扁平化，服务要下沉。
“我们帮助一个保险业的客户实现了数据库前置，将大数据分析的结果直接推送给18万名销售代表。我们给出的分析结果只是一个简单的提示，即某个销售人员最应该关注哪个客户，仅此而已。这时，传统的数据仪表盘就失去了作用。”雷涛表示，“现在，大量的数据来自于物联网，传统的数据可视化工具已经无能为力。我们必须采用新的架构、工具。”
链 接
2014中国大数据国际高峰论坛由中科院深圳先进技术研究院、中国量化投资研究院、复旦大学管理学院、《上海证券报》社和Datawatch公司共同主办，500余位国内外大数据产业界、学术界的顶尖专家和学者，以及国内IT、金融、教育、医疗等多个领域的代表汇聚一堂，共同探讨大数据产业的发展，分享大数据应用和创新成果，剖析各行业数据分析难题，寻求解决之道。
论坛以“大数据的创新、突破、腾飞”为主题，采用主题报告加专题论坛的形式。会议同期还举办了大数据技术与应用高级研修班。研修班由中科院深圳先进技术研究院国泰安金融大数据研究中心主办，聘请了国内外著名的大数据专家、学术界知名学者担任培训讲师。此举将对高校大数据人才培养、企业高效管理与创新发展产生积极的意义。