论文部分内容阅读
远有啤酒与尿布的故事，近有给未婚少女发尿片广告被少女父亲投诉后发现真有其事的经典案例，大数据关联分析的价值越来越凸显。
企业该如何利用大数据获取商业价值呢？Teradata天睿公司大中华区Aster事业部总监孔宇华日前在接受采访时，向记者介绍了更多的应用案例。
行为路径、防欺诈与关联分析
一家银行想要通过不同的渠道来了解客户的行为，看客户在注销账户之前，是不是有些可以辨认的行为模式。该银行采用Teradata Aster Data平台，综合网上银行、电话银行、ATM等多种渠道信息进行综合分析，然后给银行的业务人员形成一个可视化的视图，清晰地观察到客户所走的路径，不仅知道客户流失的可能性，同时可以计算出可能流失的时间，这样该银行可以知道在什么时间进行补救更加合适。孔宇华介绍，在银行，除了购买和销户等行为，这样的行为路径分析也用在防欺诈方面。
美国超市SuperValue利用数据进行产品关联性分析，从而确定超市产品摆放布局、促销的关联产品和购买的关联产品。SuperValue一共有13个集团超市，很早就尝试做关联分析，但过去在一个集团里做一项产品关联分析就需要四个小时，因为时间太长，业务部门都不愿提类似需求。通过选用Teradata Aster Data平台，SuperValue过去只能做到13周的数据关联性分析，现在两分钟就可以实现过去8年的数据的关联分析。
电子商务企业也非常关心客户行为路径。某电商通过分析客户浏览路径，看客户购买了什么商品，并分析其购买前和购买后的路径。通过路径分析，该电商发现很多客户在购买后会到订单的网页，于是它对客户多次的浏览和购买的行为用Aster做产品关联分析， 然后把与客户所购买产品关联度较高的其他产品放在订单网页上，从而黏住了更多客户，促生了更多购买行为。
LinkedIn是一家面向商业客户的社交网络（SNS）服务网站，目的是让注册用户维护他们在商业交往中认识并信任的联系人。2008年LinkedIn开发了“people you may know”功能，这是社交网络里面首个开发这种功能——在看到推荐的可能的熟人之后，就可以直接添加，不用自己去找。LinkedIn通过Teradata Aster把用户黏性提高了30%～40%。
结合SQL与MapReduce
面对大数据的3V特性（量大、结构多样、实时），目前企业要做大数据分析技术所面临的难度不小。企业虽然过去也在做大量的数据分析，但分析人员大多是用SQL语言实现。SQL是一种高层级语言，易用，写一次可以重复使用。但当所处理的数据量级达到一定程度时，由于在匹配性能等方面的弱势，SQL对数据的处理效率变低。于是很多企业开始寻找大数据平台，MapReduce进入视野。
MapReduce有较好的编程模式，灵活，扩展性强，可支撑实现真正大容量数据的处理。但MapReduce要求操作人有很好的编程背景，需要编程人员写源代码，很难做到重复利代码，且像连接、分组、排序等SQL具有的一些算法，用MapReduce实现起来会非常慢。
“于是，我们研发了SQL-MapReduce专利技术，将两个框架结合在一起，实现一个可以重复使用、易用、灵活的，也可以处理大量数据的分析工具。SQL-MapReduce是一个并行的平台，可以处理大容量的数据。” 2008年加入Aster Data的研发团队，有着技术和市场双重背景的孔宇华向记者娓娓道来。2011年Teradata收购Aster时，他正负责Aster的咨询团队、客户服务团队和培训团队。
孔宇华介绍，近日推出的Teradata Aster大数据综合分析平台整合了Aster和Apache Hadoop，嵌入SQL-MapReduce专利技术，能对新数据源和多结构数据类型进行更深入的分析处理，借助Teradata Aster统一数据架构及SQL-H等高速连接器带来高可扩展性的分析能力。它预先封装了多项开启即用的分析功能，能够快速实现数字营销优化、社交网络分析、欺诈侦测等。
至于究竟是如何打通SQL与MapReduce的问题，孔宇华如此解说：“Teradata并行数据库注重在操作系统和数据库上的研发和优化，而Aster不仅仅支持并行平台上的数据库，更支持包括MapReduce引擎在内的其他引擎的综合应用。在统一数据架构下，通过SQL-H等高速连接器，Aster对外用SQL交流，对内可做灵活分析。用SQL的时候，是在数据库里运行，而需要用到MapReduce的时候，我们会把数据引导到同一台服务器的MapReduce引擎里面去运行，然后再把输出的数据返回数据库，不需要把数据在不同平台和服务器间迁移，等于给分析人员提供了一把‘瑞士军刀’，他们可以用最合适的工具来完成他们的工作。”
有了SQL-MapReduce，分析师可以继续用他们熟悉的界面交流，很容易地使用Aster现有和可开发的功能包，结合现有的BI工具，做更多的业务分析。Aster有的功能包已经有50多个，包括路径分析、网路图形分析、文本分析等功能包，可以跨行业应用到各种场景。
“没有一个有效统一的环境，企业很难及时获取业务洞察。为了满足这种需求， Teradata统一数据架构将多种技术整合到一个紧密结合的、透明的架构中，让用户易于获得和使用这些强大的技术发现大数据中潜藏的价值。”孔宇华说。
企业该如何利用大数据获取商业价值呢？Teradata天睿公司大中华区Aster事业部总监孔宇华日前在接受采访时，向记者介绍了更多的应用案例。
行为路径、防欺诈与关联分析
一家银行想要通过不同的渠道来了解客户的行为，看客户在注销账户之前，是不是有些可以辨认的行为模式。该银行采用Teradata Aster Data平台，综合网上银行、电话银行、ATM等多种渠道信息进行综合分析，然后给银行的业务人员形成一个可视化的视图，清晰地观察到客户所走的路径，不仅知道客户流失的可能性，同时可以计算出可能流失的时间，这样该银行可以知道在什么时间进行补救更加合适。孔宇华介绍，在银行，除了购买和销户等行为，这样的行为路径分析也用在防欺诈方面。
美国超市SuperValue利用数据进行产品关联性分析，从而确定超市产品摆放布局、促销的关联产品和购买的关联产品。SuperValue一共有13个集团超市，很早就尝试做关联分析，但过去在一个集团里做一项产品关联分析就需要四个小时，因为时间太长，业务部门都不愿提类似需求。通过选用Teradata Aster Data平台，SuperValue过去只能做到13周的数据关联性分析，现在两分钟就可以实现过去8年的数据的关联分析。
电子商务企业也非常关心客户行为路径。某电商通过分析客户浏览路径，看客户购买了什么商品，并分析其购买前和购买后的路径。通过路径分析，该电商发现很多客户在购买后会到订单的网页，于是它对客户多次的浏览和购买的行为用Aster做产品关联分析， 然后把与客户所购买产品关联度较高的其他产品放在订单网页上，从而黏住了更多客户，促生了更多购买行为。
LinkedIn是一家面向商业客户的社交网络（SNS）服务网站，目的是让注册用户维护他们在商业交往中认识并信任的联系人。2008年LinkedIn开发了“people you may know”功能，这是社交网络里面首个开发这种功能——在看到推荐的可能的熟人之后，就可以直接添加，不用自己去找。LinkedIn通过Teradata Aster把用户黏性提高了30%～40%。
结合SQL与MapReduce
面对大数据的3V特性（量大、结构多样、实时），目前企业要做大数据分析技术所面临的难度不小。企业虽然过去也在做大量的数据分析，但分析人员大多是用SQL语言实现。SQL是一种高层级语言，易用，写一次可以重复使用。但当所处理的数据量级达到一定程度时，由于在匹配性能等方面的弱势，SQL对数据的处理效率变低。于是很多企业开始寻找大数据平台，MapReduce进入视野。
MapReduce有较好的编程模式，灵活，扩展性强，可支撑实现真正大容量数据的处理。但MapReduce要求操作人有很好的编程背景，需要编程人员写源代码，很难做到重复利代码，且像连接、分组、排序等SQL具有的一些算法，用MapReduce实现起来会非常慢。
“于是，我们研发了SQL-MapReduce专利技术，将两个框架结合在一起，实现一个可以重复使用、易用、灵活的，也可以处理大量数据的分析工具。SQL-MapReduce是一个并行的平台，可以处理大容量的数据。” 2008年加入Aster Data的研发团队，有着技术和市场双重背景的孔宇华向记者娓娓道来。2011年Teradata收购Aster时，他正负责Aster的咨询团队、客户服务团队和培训团队。
孔宇华介绍，近日推出的Teradata Aster大数据综合分析平台整合了Aster和Apache Hadoop，嵌入SQL-MapReduce专利技术，能对新数据源和多结构数据类型进行更深入的分析处理，借助Teradata Aster统一数据架构及SQL-H等高速连接器带来高可扩展性的分析能力。它预先封装了多项开启即用的分析功能，能够快速实现数字营销优化、社交网络分析、欺诈侦测等。
至于究竟是如何打通SQL与MapReduce的问题，孔宇华如此解说：“Teradata并行数据库注重在操作系统和数据库上的研发和优化，而Aster不仅仅支持并行平台上的数据库，更支持包括MapReduce引擎在内的其他引擎的综合应用。在统一数据架构下，通过SQL-H等高速连接器，Aster对外用SQL交流，对内可做灵活分析。用SQL的时候，是在数据库里运行，而需要用到MapReduce的时候，我们会把数据引导到同一台服务器的MapReduce引擎里面去运行，然后再把输出的数据返回数据库，不需要把数据在不同平台和服务器间迁移，等于给分析人员提供了一把‘瑞士军刀’，他们可以用最合适的工具来完成他们的工作。”
有了SQL-MapReduce，分析师可以继续用他们熟悉的界面交流，很容易地使用Aster现有和可开发的功能包，结合现有的BI工具，做更多的业务分析。Aster有的功能包已经有50多个，包括路径分析、网路图形分析、文本分析等功能包，可以跨行业应用到各种场景。
“没有一个有效统一的环境，企业很难及时获取业务洞察。为了满足这种需求， Teradata统一数据架构将多种技术整合到一个紧密结合的、透明的架构中，让用户易于获得和使用这些强大的技术发现大数据中潜藏的价值。”孔宇华说。