论文部分内容阅读
2021年的上海车展最大看点并不是新车，而是火爆的自动驾驶技术以及车联网。美团王兴说，车成了互联网技术的载体。笔者非常赞同这一看法。
在自动驾驶和车联网的背后是大数据、云计算以及各种网络服务。在万物互联的时代，会有越来越多的行业成为“载体”，而这些载体不停地产生数据，这就必须提升数据的处理分析能力、安全防护能力，同时还要规避数据孤岛，让数据发挥最大价值。
无独有偶，4月18日，腾讯发布自研的第四代数智融合计算平台“腾讯大数据—天工”。腾讯称，这一数据平台是新基础设施的重要组成部分，通过数智融合计算以安全方式打通数据孤岛，桥接多方数据，以统一的数据处理引擎更高效地挖掘数据价值，以智能化的方式驱动整个数据处理闭环，为开发者、企业、以及政府的数字化、智能化升级提供更好服务。
那么，“腾讯大数据—天工”发布的背景是什么？具体解决了哪些问题？接下来，笔者将用非常通俗易懂的语言与各位读者分享。
在文章开头，我们提到车的自动驾驶技术和车联网，咱们就以此为例来看下车联网时代面临的一系列难题。
车想要实现自动驾驶，就必须对道路、障碍物以及各类突发情况进行识别，然后通过算法对这些情况进行建模。简单讲，车想要自动驾驶，必须先学习识别路况。
而这些路况信息十分复杂，需要通过车不断的进行路测去采集道路数据，采集驾驶员数据等各种不规则数据，然后对数据进行分析和学习。
在数据采集、分析和学习的过程中，面临数据的计算、数据孤岛、数据的应用等多个问题。
想要对海量数据进行计算，就必须提高算力。想要突破数据孤岛，就需要让路况、障碍物、突发事件、驾驶员等各类数据发生关联，而应用数据过程中，还需要保证数据的安全。
除了自动驾驶行业外，在金融、制造、家居等任何需要数字化的领域都会遇到类似问题，这也对数据平台这一基础设施的能力提出了更高要求。这也是腾讯大数据平台升级的行业背景。
为应对万物互联时代，海量复杂数据的处理和分析，需要构建一个强大的数据处理基础设施，这包括服务器、算力、数据库等。
目前，腾讯大数据日接入消息量超过55万亿，日实时计算量超过65万亿，平台整体算力超过500万核，日分析任务达到1500万，腾讯大数据平台的能力不断被刷新，腾讯云已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。
腾讯云自研的星星海服务器，对应云上实例星星海SA3可提供最高232个核心的单节点算力，能够进一步满足用户在视频编解码、离线渲染、数据库、AI等场景下对算力性能的需求。
数据库方面，腾讯云原有的TDSQL、TBase、CynosDB三大产品线统一升级为“腾讯云企业级分布式数据库TDSQL”。
作为数据的底层处理平台，腾讯的大数据平台也一直随着数据处理需求的变化而升级。2009年，第一代平台以离线计算为主要模式化，依托Hadoop生态，结合业务场景进行局部优化，处理任务通常需要小时甚至天级别时间完成。
2012年，以Spark/Storm为代表的实时计算处理框架为代表，腾讯大数据平台的处理性能迈入毫秒时代，在开源框架基础上重写了核心模块，显著提升了性能。
2015年附近，随着深度学习浪潮兴起，腾讯大数据进入第三代，从0到1自研了机器学习框架Angel，意味着整体大数据平台进入机器学习时代。
2019年开始，腾讯大数据在规划第四代计算平台，包括批流融合、数据湖、联邦学习等新型技术，围绕安全、智能、统一等提出了下一代腾讯天工数智融合计算平台。
作为第四代大数据平台，腾讯天工数智融合计算平台把AI、大数据以及最热门的隐私计算全都融合在一起，实现在保护数据隐私的同时，提供联合数据分析、联合数据建模等能力。
目前，腾讯大数据技术既可支撑内部所有业务，又可以服务各类企业、政府机构。比如，内部的企业微信、腾讯会议、微信小程序、微信支付等都在用。外部客户包括中行、建行、招行、中国人保、太平洋保险、海通证券、江苏消防、山东电力、湖南国电等。
有些人会说，腾讯大数据平台使用的是Hadoop、Spark/Storm等开源框架，是不是同行们也可以轻松实现腾讯天工数智融合计算平台的能力？
其实，这个疑问是多余的。首先，没有几家企业具备腾讯的业务范围和数据规模。这是少有企业具备腾讯同样复杂的数据处理需求和数据处理能力，腾讯的业务涵盖了社交、游戏、视频、金融、办公、教育等几乎所有行业，而且多个行业都是行业领先，而同行则只覆盖一个或几个行业的业务。
这也让腾讯可以在全行业中打磨自己的数据平台，同时海量的数据处理能力也是其他同行不具备的。目前，腾讯大数据平台日接入消息量超过55万亿，日实时计算量超过65万亿。
其次，在IaaS、PaaS以及SaaS上的综合实力。当前一些第三方调研机构的份额排行，大多数只提供IaaS的数据，事实上除了公有云外，PaaS＼SaaS服务早就大行其道。而腾讯除了在传统的公有云上具备领先地位外，其PaaS＼SaaS服务更是涵盖范围广，服务用户多，合计市场份额一直在国内位居第二。
得益于业务范围广、数据量大、云计算服务范围广的优势，“腾讯大数据—天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。
“腾讯大数据-天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，在此基础上，提供3072bit加密和TEE硬件双保险。同时，凭借自研隐私计算技术，腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军。
一句话，“腾讯大数据-天工”是难以被复制和超越的，具有极强的竞争壁垒，也必然从根本上提升腾讯云各类解决方案服务客户的能力，实现差异化竞争。
面對即将爆发式增长的万物互联时代，在多年技术积累和需求的强力推动下，腾讯云已经打通了IaaS+PaaS+SaaS全方位云服务体系，在服务器、算力、算法、数据库、大数据平台、PaaS/ SaaS解决方案上都完成了全面的布局，综合云计算服务的市场份额领先，并保持高速增长。
可以说，现在万事俱备只欠东风。腾讯产业互联网业务正处在爆发前夜，值得期待！
在自动驾驶和车联网的背后是大数据、云计算以及各种网络服务。在万物互联的时代，会有越来越多的行业成为“载体”，而这些载体不停地产生数据，这就必须提升数据的处理分析能力、安全防护能力，同时还要规避数据孤岛，让数据发挥最大价值。
无独有偶，4月18日，腾讯发布自研的第四代数智融合计算平台“腾讯大数据—天工”。腾讯称，这一数据平台是新基础设施的重要组成部分，通过数智融合计算以安全方式打通数据孤岛，桥接多方数据，以统一的数据处理引擎更高效地挖掘数据价值，以智能化的方式驱动整个数据处理闭环，为开发者、企业、以及政府的数字化、智能化升级提供更好服务。
那么，“腾讯大数据—天工”发布的背景是什么？具体解决了哪些问题？接下来，笔者将用非常通俗易懂的语言与各位读者分享。
万物互联时代面临的问题和难题
在文章开头，我们提到车的自动驾驶技术和车联网，咱们就以此为例来看下车联网时代面临的一系列难题。
车想要实现自动驾驶，就必须对道路、障碍物以及各类突发情况进行识别，然后通过算法对这些情况进行建模。简单讲，车想要自动驾驶，必须先学习识别路况。
而这些路况信息十分复杂，需要通过车不断的进行路测去采集道路数据，采集驾驶员数据等各种不规则数据，然后对数据进行分析和学习。
在数据采集、分析和学习的过程中，面临数据的计算、数据孤岛、数据的应用等多个问题。
想要对海量数据进行计算，就必须提高算力。想要突破数据孤岛，就需要让路况、障碍物、突发事件、驾驶员等各类数据发生关联，而应用数据过程中，还需要保证数据的安全。
除了自动驾驶行业外，在金融、制造、家居等任何需要数字化的领域都会遇到类似问题，这也对数据平台这一基础设施的能力提出了更高要求。这也是腾讯大数据平台升级的行业背景。
腾讯大数据基础设施的变迁
为应对万物互联时代，海量复杂数据的处理和分析，需要构建一个强大的数据处理基础设施，这包括服务器、算力、数据库等。
目前，腾讯大数据日接入消息量超过55万亿，日实时计算量超过65万亿，平台整体算力超过500万核，日分析任务达到1500万，腾讯大数据平台的能力不断被刷新，腾讯云已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。
腾讯云自研的星星海服务器，对应云上实例星星海SA3可提供最高232个核心的单节点算力，能够进一步满足用户在视频编解码、离线渲染、数据库、AI等场景下对算力性能的需求。
数据库方面，腾讯云原有的TDSQL、TBase、CynosDB三大产品线统一升级为“腾讯云企业级分布式数据库TDSQL”。
作为数据的底层处理平台，腾讯的大数据平台也一直随着数据处理需求的变化而升级。2009年，第一代平台以离线计算为主要模式化，依托Hadoop生态，结合业务场景进行局部优化，处理任务通常需要小时甚至天级别时间完成。
2012年，以Spark/Storm为代表的实时计算处理框架为代表，腾讯大数据平台的处理性能迈入毫秒时代，在开源框架基础上重写了核心模块，显著提升了性能。
2015年附近，随着深度学习浪潮兴起，腾讯大数据进入第三代，从0到1自研了机器学习框架Angel，意味着整体大数据平台进入机器学习时代。
2019年开始，腾讯大数据在规划第四代计算平台，包括批流融合、数据湖、联邦学习等新型技术，围绕安全、智能、统一等提出了下一代腾讯天工数智融合计算平台。
作为第四代大数据平台，腾讯天工数智融合计算平台把AI、大数据以及最热门的隐私计算全都融合在一起，实现在保护数据隐私的同时，提供联合数据分析、联合数据建模等能力。
目前，腾讯大数据技术既可支撑内部所有业务，又可以服务各类企业、政府机构。比如，内部的企业微信、腾讯会议、微信小程序、微信支付等都在用。外部客户包括中行、建行、招行、中国人保、太平洋保险、海通证券、江苏消防、山东电力、湖南国电等。
腾讯天工数智融合计算平台为何难以复制？
有些人会说，腾讯大数据平台使用的是Hadoop、Spark/Storm等开源框架，是不是同行们也可以轻松实现腾讯天工数智融合计算平台的能力？
其实，这个疑问是多余的。首先，没有几家企业具备腾讯的业务范围和数据规模。这是少有企业具备腾讯同样复杂的数据处理需求和数据处理能力，腾讯的业务涵盖了社交、游戏、视频、金融、办公、教育等几乎所有行业，而且多个行业都是行业领先，而同行则只覆盖一个或几个行业的业务。
这也让腾讯可以在全行业中打磨自己的数据平台，同时海量的数据处理能力也是其他同行不具备的。目前，腾讯大数据平台日接入消息量超过55万亿，日实时计算量超过65万亿。
其次，在IaaS、PaaS以及SaaS上的综合实力。当前一些第三方调研机构的份额排行，大多数只提供IaaS的数据，事实上除了公有云外，PaaS＼SaaS服务早就大行其道。而腾讯除了在传统的公有云上具备领先地位外，其PaaS＼SaaS服务更是涵盖范围广，服务用户多，合计市场份额一直在国内位居第二。
得益于业务范围广、数据量大、云计算服务范围广的优势，“腾讯大数据—天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。
“腾讯大数据-天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，在此基础上，提供3072bit加密和TEE硬件双保险。同时，凭借自研隐私计算技术，腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军。
一句话，“腾讯大数据-天工”是难以被复制和超越的，具有极强的竞争壁垒，也必然从根本上提升腾讯云各类解决方案服务客户的能力，实现差异化竞争。
结语
面對即将爆发式增长的万物互联时代，在多年技术积累和需求的强力推动下，腾讯云已经打通了IaaS+PaaS+SaaS全方位云服务体系，在服务器、算力、算法、数据库、大数据平台、PaaS/ SaaS解决方案上都完成了全面的布局，综合云计算服务的市场份额领先，并保持高速增长。
可以说，现在万事俱备只欠东风。腾讯产业互联网业务正处在爆发前夜，值得期待！