论文部分内容阅读
理财产品推介短信量和过去相比下降82%，反倒实现了95%的客户命中率；过去仅能在线查询1年的历史明细，现在可以查询到5年以上；信用卡征信可以从15天缩短到10分钟以内，小微贷获客预测转化率比传统方式提升40倍，或有金融资产预测误差率降低一半……这组数据，来自招商银行深圳分行大数据应用平台的试点结果。基于深圳分行的成功经验，招商银行今年已率先在全国展开了基于大数据分析的在线历史明细查询、实时征信、实时事件营销、小微贷获客预测、或有金融资产预测、理财产品精准推荐等金融创新服务。
在不到两年的时间里，招商银行就把传统行业仍然十分陌生的“大数据”技术，转化为突围互联网金融困局的“利器”，并培养出一个让招商银行具备“大数据”能力的IT团队，他们到底是如何做到的？
驱动力：
数据是银行的重要资产
互联网金融对传统商业银行的真正冲击在于，今天的互联网企业比传统商业银行更有能力网聚用户、发现用户的需求和精准服务用户。这种能力本质上恰恰是互联网、大数据和云计算所赋予的，由于传统商业银行普遍还不具备这样的能力，所以才渐渐失去了固有的金融服务优势。很早，招商银行就洞悉到了传统商业银行的这一短板，并在2012年开始着手构建基于云计算系统的大数据平台。
对大数据技术的应用，互联网企业尚在探索，更不用说以“谨慎”著称的传统商业银行了。对向来“只选择成熟技术”的银行业用户而言，招商银行的尝试似乎很冒险。但在招商银行总行信息技术部总经理周天虹看来，招商银行的大数据尝试能在短时间内初具成效却绝非偶然。
“招商银行一直视数据为银行的重要资产。”他告诉记者，银行业的竞争与发展，从未摆脱对数据分析能力的依赖。作为中国第一家由企业法人持股的股份制商业银行，招商银行很早就把“从数据中发现价值”的能力作为银行发展、保持竞争力的基础能力。1999年，招商银行就建立了数据仓库系统，展开了在数据挖掘、数据分析领域的探索。正是对数据价值的重视，让招商银行顺利走上了大数据探索之路。
尽管在基于数据仓库的数据挖掘、分析领域，招商银行的技术团队算得上经验丰富，但面对近几年才兴起的大数据分析方法，整个团队必须从零开始学习。从研究谷歌发布的大数据文献开始，他们发现大数据分析技术有独特的价值，特别是针对半结构化和非结构化海量数据的分析时，用廉价x86服务器所组成的庞大集群，就能实现强大的数据存储能力和计算能力。而目前较为成熟的平台实现技术主要是围绕Hadoop和云计算系统的，他们必须在这些领域快速实现技术突破。
为了加快大数据工作的推进，招商银行开始寻找有技术实力的合作伙伴，也就是在这个时候，他们与华为形成了合作关系，并在华为的帮助下很快实现了基于大数据分析的生产系统的上线，解决了大数据分析方法上的一系列难题。
选择：
大数据技术并不掌握在传统IT厂商手中
华为，正式进入企业市场不足四年，和那些深耕金融行业十几年的大牌IT企业相比，在大数据领域更是名不见经传。但去年，华为却发布了企业级大数据应用平台FusionInsight，很少有人知道，FusionInsight的很多功能和特性正是来自和招商银行的大数据合作。
很多人可能都会不理解，为何在IT投入方面向来“谨慎小心”的招商银行，会在大数据这样一个如此关键的尝试中，一反常态地选择华为这样一个“年轻”的合作伙伴。周天虹认为，跟绝大多数信息技术的发展历程不同，大数据技术是由互联网公司发明和发展起来的，并且率先在互联网公司成熟应用。而过去，绝大多数的信息技术，是由专业的IT企业发明并推广应用的。
“这意味着，大数据技术并不掌握在传统的大型IT公司手中。”周天虹直言，传统领先的IT厂商，也才刚刚开始进行大数据研究。在国内，目前能够提供大数据技术服务的厂商就更为有限了。但招商银行最终的选择，却并不是因为对国内企业的特殊支持，而是站在技术的角度，本着对银行投资负责任的原则，选择了华为。“作为企业IT服务的新生力量，华为有其独特的优势，比如学习能力非常强，驾驭新技术和创新能力强。”他坦言，在决定与华为合作之前，招商银行也有一些担心，还为此做了大量的调查研究。他们发现华为在大数据领域各类资源的投入情况超过了很多竞争对手，对于相关技术的积累也很有竞争力，才感到越来越有信心。
从2012年初开始跟华为接触、去华为进行相关调研，到与华为正式开始合作，招商银行经过了“谨慎”的长达半年的技术审查，其间对华为产品和其他厂商的产品进行了严格的POC测试。只要与需求不吻合，招商银行就会将POC报告结果提交给相关厂商要求其整改、完善。面对金融行业相关监管部门的严格要求、招商银行严格的运维要求，华为技术团队一直积极配合、不断调整其产品，最终以符合招商银行生产系统要求的FusionInsight金融行业发行版胜出，让招商银行在2013年年初顺利展开了相关系统的开发，并在今年完成试点后正式上线。
和过去数据分析平台惯用的软硬件绑定销售模式不同，招商银行当前所采用的云计算硬件平台并非华为提供，IT部门并没有因为大数据平台的上线而为硬件进行“额外”投入，通过对资源的灵活调配，招商银行可以用极低的成本构建起高性能的数据分析平台。让招行感到满意的还有FusionInsight在技术层面的表现，对大规模数据的处理，针对招商银行特定业务应用场景，它比原有技术的效率有明显提升。
与华为的合作，已让招商银行实现了三个目标：一是构建起基于云计算平台的大数据运用、分析平台，基于大数据分析开展创新的金融服务；二是通过构建大数据平台，把原有的游离在数据仓库之外的非结构化数据、结构化数据，逐步收拢到平台上，具备处理海量数据的相关能力；三是建立起一支大数据技术队伍，让招商银行的技术团队全面升级，具备使用、运营大数据平台的能力。
成果：
最重要的是培养团队
随着大数据平台的上线，新的金融应用也开始在招商银行的各分行推广。据预测，仅是查询应用，全行每天所涉及的数据量就将达到几百TB。如果算上其他应用所需的行为数据的全面采集，全行每天需要处理的数据量将达到PB级。
大数据今天对任何企业而言都是需要摸索的过程，逐步实现数据分析成本可控才是科学的方法。招商银行的数据分析平台目前采用了传统技术和新技术并存的模式，主要因为传统数据相对于结构化数据的分析处理，已经形成了相对完整的体系，从数据的储存、整合处理、分析展现、挖掘，都有成熟的工具，用新技术完全替代还存在一些技术问题。
“大数据技术是互联网公司发展起来的，互联网金融将大数据应用推向了一个新的发展阶段。但银行数据与互联网数据相比，复杂度更高。银行历经多年的发展，在数据分析领域已形成了很多成熟的技术，并没有那么容易被新技术完全替代，所以大数据应用还是会有一个过程。”周天虹认为对于商业银行的大数据探索，培养出一支熟悉掌握大数据平台技术开发、分析应用的技术队伍是关键，这方面还有很多路要走。
在不到两年的时间里，招商银行就把传统行业仍然十分陌生的“大数据”技术，转化为突围互联网金融困局的“利器”，并培养出一个让招商银行具备“大数据”能力的IT团队，他们到底是如何做到的？
驱动力：
数据是银行的重要资产
互联网金融对传统商业银行的真正冲击在于，今天的互联网企业比传统商业银行更有能力网聚用户、发现用户的需求和精准服务用户。这种能力本质上恰恰是互联网、大数据和云计算所赋予的，由于传统商业银行普遍还不具备这样的能力，所以才渐渐失去了固有的金融服务优势。很早，招商银行就洞悉到了传统商业银行的这一短板，并在2012年开始着手构建基于云计算系统的大数据平台。
对大数据技术的应用，互联网企业尚在探索，更不用说以“谨慎”著称的传统商业银行了。对向来“只选择成熟技术”的银行业用户而言，招商银行的尝试似乎很冒险。但在招商银行总行信息技术部总经理周天虹看来，招商银行的大数据尝试能在短时间内初具成效却绝非偶然。
“招商银行一直视数据为银行的重要资产。”他告诉记者，银行业的竞争与发展，从未摆脱对数据分析能力的依赖。作为中国第一家由企业法人持股的股份制商业银行，招商银行很早就把“从数据中发现价值”的能力作为银行发展、保持竞争力的基础能力。1999年，招商银行就建立了数据仓库系统，展开了在数据挖掘、数据分析领域的探索。正是对数据价值的重视，让招商银行顺利走上了大数据探索之路。
尽管在基于数据仓库的数据挖掘、分析领域，招商银行的技术团队算得上经验丰富，但面对近几年才兴起的大数据分析方法，整个团队必须从零开始学习。从研究谷歌发布的大数据文献开始，他们发现大数据分析技术有独特的价值，特别是针对半结构化和非结构化海量数据的分析时，用廉价x86服务器所组成的庞大集群，就能实现强大的数据存储能力和计算能力。而目前较为成熟的平台实现技术主要是围绕Hadoop和云计算系统的，他们必须在这些领域快速实现技术突破。
为了加快大数据工作的推进，招商银行开始寻找有技术实力的合作伙伴，也就是在这个时候，他们与华为形成了合作关系，并在华为的帮助下很快实现了基于大数据分析的生产系统的上线，解决了大数据分析方法上的一系列难题。
选择：
大数据技术并不掌握在传统IT厂商手中
华为，正式进入企业市场不足四年，和那些深耕金融行业十几年的大牌IT企业相比，在大数据领域更是名不见经传。但去年，华为却发布了企业级大数据应用平台FusionInsight，很少有人知道，FusionInsight的很多功能和特性正是来自和招商银行的大数据合作。
很多人可能都会不理解，为何在IT投入方面向来“谨慎小心”的招商银行，会在大数据这样一个如此关键的尝试中，一反常态地选择华为这样一个“年轻”的合作伙伴。周天虹认为，跟绝大多数信息技术的发展历程不同，大数据技术是由互联网公司发明和发展起来的，并且率先在互联网公司成熟应用。而过去，绝大多数的信息技术，是由专业的IT企业发明并推广应用的。
“这意味着，大数据技术并不掌握在传统的大型IT公司手中。”周天虹直言，传统领先的IT厂商，也才刚刚开始进行大数据研究。在国内，目前能够提供大数据技术服务的厂商就更为有限了。但招商银行最终的选择，却并不是因为对国内企业的特殊支持，而是站在技术的角度，本着对银行投资负责任的原则，选择了华为。“作为企业IT服务的新生力量，华为有其独特的优势，比如学习能力非常强，驾驭新技术和创新能力强。”他坦言，在决定与华为合作之前，招商银行也有一些担心，还为此做了大量的调查研究。他们发现华为在大数据领域各类资源的投入情况超过了很多竞争对手，对于相关技术的积累也很有竞争力，才感到越来越有信心。
从2012年初开始跟华为接触、去华为进行相关调研，到与华为正式开始合作，招商银行经过了“谨慎”的长达半年的技术审查，其间对华为产品和其他厂商的产品进行了严格的POC测试。只要与需求不吻合，招商银行就会将POC报告结果提交给相关厂商要求其整改、完善。面对金融行业相关监管部门的严格要求、招商银行严格的运维要求，华为技术团队一直积极配合、不断调整其产品，最终以符合招商银行生产系统要求的FusionInsight金融行业发行版胜出，让招商银行在2013年年初顺利展开了相关系统的开发，并在今年完成试点后正式上线。
和过去数据分析平台惯用的软硬件绑定销售模式不同，招商银行当前所采用的云计算硬件平台并非华为提供，IT部门并没有因为大数据平台的上线而为硬件进行“额外”投入，通过对资源的灵活调配，招商银行可以用极低的成本构建起高性能的数据分析平台。让招行感到满意的还有FusionInsight在技术层面的表现，对大规模数据的处理，针对招商银行特定业务应用场景，它比原有技术的效率有明显提升。
与华为的合作，已让招商银行实现了三个目标：一是构建起基于云计算平台的大数据运用、分析平台，基于大数据分析开展创新的金融服务；二是通过构建大数据平台，把原有的游离在数据仓库之外的非结构化数据、结构化数据，逐步收拢到平台上，具备处理海量数据的相关能力；三是建立起一支大数据技术队伍，让招商银行的技术团队全面升级，具备使用、运营大数据平台的能力。
成果：
最重要的是培养团队
随着大数据平台的上线，新的金融应用也开始在招商银行的各分行推广。据预测，仅是查询应用，全行每天所涉及的数据量就将达到几百TB。如果算上其他应用所需的行为数据的全面采集，全行每天需要处理的数据量将达到PB级。
大数据今天对任何企业而言都是需要摸索的过程，逐步实现数据分析成本可控才是科学的方法。招商银行的数据分析平台目前采用了传统技术和新技术并存的模式，主要因为传统数据相对于结构化数据的分析处理，已经形成了相对完整的体系，从数据的储存、整合处理、分析展现、挖掘，都有成熟的工具，用新技术完全替代还存在一些技术问题。
“大数据技术是互联网公司发展起来的，互联网金融将大数据应用推向了一个新的发展阶段。但银行数据与互联网数据相比，复杂度更高。银行历经多年的发展，在数据分析领域已形成了很多成熟的技术，并没有那么容易被新技术完全替代，所以大数据应用还是会有一个过程。”周天虹认为对于商业银行的大数据探索，培养出一支熟悉掌握大数据平台技术开发、分析应用的技术队伍是关键，这方面还有很多路要走。