论文部分内容阅读
2006年Hinton在《Science》提出著名的深度学习框架，引爆了一轮人工智能热潮。十多年来，无论是国际科技巨头，还是权威研究机构，都致力于深度学习框架的研发应用，带来了视觉、语音等领域革命性的进步，极大地推动了人工智能的创新发展。事实上，随着人工智能时代的来临，深度学习框架已被视为一个核心突破口和科技前沿阵地，依托深度学习框架构建人工智能生态也必将成为未来发展方向。与发达国家相比，我国对核心技术的预见性较为滞后，深度学习框架的国际战略缺位、核心技术缺失的“双缺”问题尤其突出。我国只有关注并尽快破解“双缺”难题，才有可能抢占人工智能的战略制高点。
深度学习框架
是AI跨越发展的核心引擎
（一）深度学习框架是推动人工智能跨越发展的核心引擎。深度学习是神经网络及其应用的统称，旨在将复杂的神经网络架构应用在数据建模上，从而带来前所未有的准确性，它已在计算机视觉、语音识别、无人驾驶等众多领域取得突破性进展。深度学习框架能够提供进行深度学习的底层架构、接口，以及大量神经网络模型，减少重复编程的时间和精力，提高深度学习效率。2012年Google Brain项目通过使用深度学习，让系统自动学习并识别猫，激起了全球范围内研究深度学习的热潮。再如，2016年Google DeepMind开发的基于深度学习的AlphaGo以4∶1的总比分战胜了世界围棋冠军李世石，让人们对深度学习的认知跨越到一个新阶段。眼下，深度学习框架加应用场景已成为当今的主流发展模式，成为人工智能发展的基础和核心，也是人工智能向下一个阶段跨越的关键。
（二）全球科技巨头是布局深度学习框架开发开源的主要力量。作为人工智能实现跨越发展的重要突破口，深度学习框架引起了科技界、产业界的高度重视。全球科技巨头纷纷布局，目前该领域的主要竞争者有Google、亚马逊、微软、Facebook等，主流框架有TensorFlow、Theano、Torch、Caffe、CNTK、MXNet、DL4J、DSSTNE、Paddle、Keras、Lasagne等。其中，Google开发并开源了分布式深度学习框架TensorFlow，是理想的卷积神经网络和循环神经网络的实现工具，已应用于Google的搜索、邮件、语音助手、机器翻译等。类似的大型科技公司开发开源的框架还有Facebook的PyTorch、Torchnet、Caffe2，亚马逊的DSSTNE、MXNet，微软的CNTK等，也是深度学习重要的研究工具和应用工具。特别是，大型科技公司通过开源的方式，一方面吸引了更多开发者，加快框架更新迭代的速度，另一方面也降低了开发门槛，吸引用户，扩大了深度学习的市场规模。基于Google强大的人工智能研究水平，TensorFlow自开源以来，以优异的质量表现，迅速成为GitHub上最受欢迎的深度学习开源项目。
（三）科研机构、创业公司是深度学习框架研究的主要力量。随着深度学习框架研究开发过程中的要求和需求不断增加，开发快速、高效的深度学习框架成为国际权威科研机构及团队的追求目标。一方面，科研领域研究工具型深度学习框架层出不穷，大大推动了深度学习框架研究的进程。比如，贾扬清及其团队开发的Caffe及Caffe2、普林斯顿大学视觉工作组的Marvin、斯坦福大学的ConvNetJS、卡内基梅隆大学研发的DyNet等，内嵌先进、完善的卷积神经网络模型。另一方面，具有商业前景的深度学习框架不断涌现，在学术界和产业界都具有深远影响。比如，蒙特利尔理工大学研发的Theano，其易用高效且运行稳定，是Keras、Lasagne、Blocks等框架的基础，更是Facebook等互联网公司大量应用的基础。此外，部分创业公司也研发了性能优越的服务型深度学习框架。比如，SkyMind公司开发的集成Hadoop和Spark的商业级框架DL4J、Nervana System公司开发的具有领先运行速度优势的Neon等，它们在提供框架的同时，还提供第三方商业支持服务。
我国深度学习框架
“双缺”问题日益突出
（一）深度学习框架研究国际战略缺位，严重依赖国外开源框架。一方面，我国人工智能产业蓬勃发展，在特定领域已处于世界先进水平。但在人工智能核心环节即深度学习框架领域的国际发声却较少、战略缺位明显，特别是在开发、开源方面仍远远落后于欧美国家。比如，2017年GitHub中最受欢迎的开源框架DL4J、
Caffe、CNTK、MXNet、Torch和Theano，均由美国科技公司或科研团队开发。其它具有国际影响力的框架还包括瑞士的超级深度神经网络框架Brainstorm、日本的动态计算图神经网络框架Chainer等。相比之下，我国比较知名的深度学习框架仅有百度2016年8月开源的Paddle，由于缺乏资源支持和正面反馈，在国际开源社区的活跃度一般，国际影响力十分有限。另一方面，我国深度学习框架的国际战略缺位，还表现为严重依赖国外开源框架，阿里的分布式深度學习框架Pluto是在Caffe的基础上扩展而来，小米的深度学习平台Cloud-ML则是基于TensorFlow和Kubernetes等框架开发的。
（二）深度学习框架核心技术缺失，核心生态圈尚未建立。经过多年积累，我国在人工智能若干技术领域已取得重要突破。但在深度学习框架方面，却一直处于跟随阶段，创新引领能力十分有限，尤其是在核心技术方面。究其原因，一是基础研究无法支撑深度学习框架核心技术的研发，特别是对于神经网络模型可用性、稳定性、运行效率等基础问题探索不足。二是缺乏对深度学习框架的超前设计和开发，包括跨平台移植、分布式学习、模型模块化等核心部件的研究滞后。三是尚未开发出适用特定场景的深度学习框架和服务型产品，缺乏对其应用场景的探索。更重要的是，深度学习框架作为决定人工智能技术、产业、应用的核心环节，是人工智能核心生态圈建立的基础和关键，核心技术缺失将直接影响到深度学习框架生态圈关联的深度学习芯片、深度学习系统、深度学习软硬件平台等产业发展。 几点建议
（一）整体布局，抢占战略制高点。深度学习框架作为承载人工智能各种硬件设备和软件应用的基础平台，是人工智能生态中替代难度最大、系统要求最高的部分，为此各国已经和正在加快技术创新和战略布局。我国也必须加紧整体布局，抢占深度学习框架领域的战略制高点。一是制定《深度学习框架发展指南》，确定发展方向和重点任务，明确深度学习框架研究和应用推广的时间表和路线图。二是建立以研发深度学习框架为核心任务的人工智能创新中心，统筹协调大型科技公司和科研机构，推动深度学习框架关键技术研发和成果产业化。三是设立深度学习框架研究重大科技项目，支持研发并开源一批有国际影响力的深度学习框架。四是统筹政府和市场多渠道资金投入，对深度学习框架研发提供优先支持，引导社会资本关注深度学习框架方向的创业企业和创业项目。
（二）自主创新，推动核心技术攻关。要解决我国深度学习框架核心技术缺失、依赖国外框架的问题，必须积极推动自主创新，推出由我国主导的深度学习框架。一是以深度学习算法框架协同攻关为基础，形成芯片、平台、应用协同的集成创新平台，加快深度学习算法框架的核心技术发展和应用创新，夯实技术基础。二是支持科研团队开发用于科研、教学和测试的深度学习框架，特别是针对神经网络模型稳定性、运行效率、可用性等方面进行重点研究，强化高性能深度学习框架的基础支撑能力。三是支持大型科技公司开发商业级和工业级的深度学习框架，重点突破深度学习框架跨平台移植、跨系统运行、分布式学习等核心技术，利用所拥有的海量数据对神经网络模型进行训练，形成开放式、模块化、可重构的训练模型。四是支持科技企业对框架语言、接口、性能等应用问题进行研究，开发针对特定领域的专用深度学习框架。
（三）研用结合，壮大产业实力。人工智能应用的高转化水平能够带动关键技术的集成应用。针对深度学习框架，我国应统筹利用理论研究方面的优势，推动研用结合，壮大以深度学习框架为核心的人工智能产业实力。一是引导科研机构与产业界积极合作，借鉴国际先进科研机构开发深度学习框架的成功经验，坚持理论研究与应用模式结合，研发先进的、高可用性的深度學习框架。二是鼓励科研资源开放共享，为科研人员提供平台设施、数据资源和计算资源，用以训练和改进深度学习框架。三是建立政产学研用相结合的创新型组织，联合涉及芯片、软件、硬件、互联网等行业的企业及科研机构，打造研用结合、广泛参与、合作共赢的生态系统，壮大产业整体实力。四是鼓励企业积极探索深度学习框架应用场景，创新在制造业、金融、医疗、农业等行业的应用，在应用中加速技术的迭代创新。
（四） 开放开源，营造创新环境。开放开源是深度学习框架快速发展的重要推动力，我国应遵循开放开源原则，营造良好的深度学习框架发展环境。一是引导参照国际中立的联盟和基金会运作模式，整合国内科技界、产业界的研发力量，联合建设国家主导的开源社区。二是组织制定开源社区发展指南，制定社区技术和数据共享规范，指导企业、高校和开发者积极参与开源社区的管理、建设和维护。三是建立以深度学习框架研发为核心，深度学习芯片、深度学习系统、深度学习软硬件平台研发布局为支撑的科技创新体系，促进创新主体互动，协同推进发展，完善人工智能核心生态圈。
深度学习框架
是AI跨越发展的核心引擎
（一）深度学习框架是推动人工智能跨越发展的核心引擎。深度学习是神经网络及其应用的统称，旨在将复杂的神经网络架构应用在数据建模上，从而带来前所未有的准确性，它已在计算机视觉、语音识别、无人驾驶等众多领域取得突破性进展。深度学习框架能够提供进行深度学习的底层架构、接口，以及大量神经网络模型，减少重复编程的时间和精力，提高深度学习效率。2012年Google Brain项目通过使用深度学习，让系统自动学习并识别猫，激起了全球范围内研究深度学习的热潮。再如，2016年Google DeepMind开发的基于深度学习的AlphaGo以4∶1的总比分战胜了世界围棋冠军李世石，让人们对深度学习的认知跨越到一个新阶段。眼下，深度学习框架加应用场景已成为当今的主流发展模式，成为人工智能发展的基础和核心，也是人工智能向下一个阶段跨越的关键。
（二）全球科技巨头是布局深度学习框架开发开源的主要力量。作为人工智能实现跨越发展的重要突破口，深度学习框架引起了科技界、产业界的高度重视。全球科技巨头纷纷布局，目前该领域的主要竞争者有Google、亚马逊、微软、Facebook等，主流框架有TensorFlow、Theano、Torch、Caffe、CNTK、MXNet、DL4J、DSSTNE、Paddle、Keras、Lasagne等。其中，Google开发并开源了分布式深度学习框架TensorFlow，是理想的卷积神经网络和循环神经网络的实现工具，已应用于Google的搜索、邮件、语音助手、机器翻译等。类似的大型科技公司开发开源的框架还有Facebook的PyTorch、Torchnet、Caffe2，亚马逊的DSSTNE、MXNet，微软的CNTK等，也是深度学习重要的研究工具和应用工具。特别是，大型科技公司通过开源的方式，一方面吸引了更多开发者，加快框架更新迭代的速度，另一方面也降低了开发门槛，吸引用户，扩大了深度学习的市场规模。基于Google强大的人工智能研究水平，TensorFlow自开源以来，以优异的质量表现，迅速成为GitHub上最受欢迎的深度学习开源项目。
（三）科研机构、创业公司是深度学习框架研究的主要力量。随着深度学习框架研究开发过程中的要求和需求不断增加，开发快速、高效的深度学习框架成为国际权威科研机构及团队的追求目标。一方面，科研领域研究工具型深度学习框架层出不穷，大大推动了深度学习框架研究的进程。比如，贾扬清及其团队开发的Caffe及Caffe2、普林斯顿大学视觉工作组的Marvin、斯坦福大学的ConvNetJS、卡内基梅隆大学研发的DyNet等，内嵌先进、完善的卷积神经网络模型。另一方面，具有商业前景的深度学习框架不断涌现，在学术界和产业界都具有深远影响。比如，蒙特利尔理工大学研发的Theano，其易用高效且运行稳定，是Keras、Lasagne、Blocks等框架的基础，更是Facebook等互联网公司大量应用的基础。此外，部分创业公司也研发了性能优越的服务型深度学习框架。比如，SkyMind公司开发的集成Hadoop和Spark的商业级框架DL4J、Nervana System公司开发的具有领先运行速度优势的Neon等，它们在提供框架的同时，还提供第三方商业支持服务。
我国深度学习框架
“双缺”问题日益突出
（一）深度学习框架研究国际战略缺位，严重依赖国外开源框架。一方面，我国人工智能产业蓬勃发展，在特定领域已处于世界先进水平。但在人工智能核心环节即深度学习框架领域的国际发声却较少、战略缺位明显，特别是在开发、开源方面仍远远落后于欧美国家。比如，2017年GitHub中最受欢迎的开源框架DL4J、
Caffe、CNTK、MXNet、Torch和Theano，均由美国科技公司或科研团队开发。其它具有国际影响力的框架还包括瑞士的超级深度神经网络框架Brainstorm、日本的动态计算图神经网络框架Chainer等。相比之下，我国比较知名的深度学习框架仅有百度2016年8月开源的Paddle，由于缺乏资源支持和正面反馈，在国际开源社区的活跃度一般，国际影响力十分有限。另一方面，我国深度学习框架的国际战略缺位，还表现为严重依赖国外开源框架，阿里的分布式深度學习框架Pluto是在Caffe的基础上扩展而来，小米的深度学习平台Cloud-ML则是基于TensorFlow和Kubernetes等框架开发的。
（二）深度学习框架核心技术缺失，核心生态圈尚未建立。经过多年积累，我国在人工智能若干技术领域已取得重要突破。但在深度学习框架方面，却一直处于跟随阶段，创新引领能力十分有限，尤其是在核心技术方面。究其原因，一是基础研究无法支撑深度学习框架核心技术的研发，特别是对于神经网络模型可用性、稳定性、运行效率等基础问题探索不足。二是缺乏对深度学习框架的超前设计和开发，包括跨平台移植、分布式学习、模型模块化等核心部件的研究滞后。三是尚未开发出适用特定场景的深度学习框架和服务型产品，缺乏对其应用场景的探索。更重要的是，深度学习框架作为决定人工智能技术、产业、应用的核心环节，是人工智能核心生态圈建立的基础和关键，核心技术缺失将直接影响到深度学习框架生态圈关联的深度学习芯片、深度学习系统、深度学习软硬件平台等产业发展。 几点建议
（一）整体布局，抢占战略制高点。深度学习框架作为承载人工智能各种硬件设备和软件应用的基础平台，是人工智能生态中替代难度最大、系统要求最高的部分，为此各国已经和正在加快技术创新和战略布局。我国也必须加紧整体布局，抢占深度学习框架领域的战略制高点。一是制定《深度学习框架发展指南》，确定发展方向和重点任务，明确深度学习框架研究和应用推广的时间表和路线图。二是建立以研发深度学习框架为核心任务的人工智能创新中心，统筹协调大型科技公司和科研机构，推动深度学习框架关键技术研发和成果产业化。三是设立深度学习框架研究重大科技项目，支持研发并开源一批有国际影响力的深度学习框架。四是统筹政府和市场多渠道资金投入，对深度学习框架研发提供优先支持，引导社会资本关注深度学习框架方向的创业企业和创业项目。
（二）自主创新，推动核心技术攻关。要解决我国深度学习框架核心技术缺失、依赖国外框架的问题，必须积极推动自主创新，推出由我国主导的深度学习框架。一是以深度学习算法框架协同攻关为基础，形成芯片、平台、应用协同的集成创新平台，加快深度学习算法框架的核心技术发展和应用创新，夯实技术基础。二是支持科研团队开发用于科研、教学和测试的深度学习框架，特别是针对神经网络模型稳定性、运行效率、可用性等方面进行重点研究，强化高性能深度学习框架的基础支撑能力。三是支持大型科技公司开发商业级和工业级的深度学习框架，重点突破深度学习框架跨平台移植、跨系统运行、分布式学习等核心技术，利用所拥有的海量数据对神经网络模型进行训练，形成开放式、模块化、可重构的训练模型。四是支持科技企业对框架语言、接口、性能等应用问题进行研究，开发针对特定领域的专用深度学习框架。
（三）研用结合，壮大产业实力。人工智能应用的高转化水平能够带动关键技术的集成应用。针对深度学习框架，我国应统筹利用理论研究方面的优势，推动研用结合，壮大以深度学习框架为核心的人工智能产业实力。一是引导科研机构与产业界积极合作，借鉴国际先进科研机构开发深度学习框架的成功经验，坚持理论研究与应用模式结合，研发先进的、高可用性的深度學习框架。二是鼓励科研资源开放共享，为科研人员提供平台设施、数据资源和计算资源，用以训练和改进深度学习框架。三是建立政产学研用相结合的创新型组织，联合涉及芯片、软件、硬件、互联网等行业的企业及科研机构，打造研用结合、广泛参与、合作共赢的生态系统，壮大产业整体实力。四是鼓励企业积极探索深度学习框架应用场景，创新在制造业、金融、医疗、农业等行业的应用，在应用中加速技术的迭代创新。
（四） 开放开源，营造创新环境。开放开源是深度学习框架快速发展的重要推动力，我国应遵循开放开源原则，营造良好的深度学习框架发展环境。一是引导参照国际中立的联盟和基金会运作模式，整合国内科技界、产业界的研发力量，联合建设国家主导的开源社区。二是组织制定开源社区发展指南，制定社区技术和数据共享规范，指导企业、高校和开发者积极参与开源社区的管理、建设和维护。三是建立以深度学习框架研发为核心，深度学习芯片、深度学习系统、深度学习软硬件平台研发布局为支撑的科技创新体系，促进创新主体互动，协同推进发展，完善人工智能核心生态圈。