论文部分内容阅读
2012年，谷歌无人驾驶汽车上路，至今已累計行驶了超过300万千米；2016年3月，谷歌公司研发的计算机程序“AlphaGo”与围棋世界冠军、职业9段选手李世石进行人机大战，并以4：1的总比分获胜，一时间轰动世界；2017年年初，国内首场人机大战节目中，“百度大脑”以3：2险胜人类“最强大脑”王峰，比拼任务为跨年龄人脸识别……以上这些项目，都是近年来人工智能领域最热门的研究方向，也是最能让人体会到人工智能强大的表现。而这些项目背后的核心技术，都是深度学习技术，这种技术依赖于深层结构人工神经网络模型的支持。
模拟大脑神经网络
我们知道，人工神经网络是对大脑神经网络系统的模拟。由于人工智能的终极目的是全面实现和超越人类大脑的智力水平，因此，在这一过程中对大脑神经系统进行模拟是人工智能研究的主要途径之一。
人类大脑的神经系统中包含大约1011个神经细胞（也叫神经元）。通过它们之间的互相连接，我们得到了一个由百万亿计连接组成的复杂神经网络，实现感知、运动、思维等各种功能。图1是生物神经元的基本结构。神经元之间依靠脉冲传递信息，信息内容是由脉冲的频率和时序决定的，与幅度无关。脉冲在神经细胞内运动，当神经细胞之间需要通信时，发出信息的神经细胞就会从轴突上释放出小泡，脉冲通过这些小泡中的化学物质产生离子流动，造成电位变化，在膜外传播到接收神经细胞的树突上，这个复杂的过程就叫做“化学突触传递”。包括人类在内的很多哺乳动物，刚出生时就有很多神经元，但是没有多少神经网络连接。大部分神经网络连接都是在哺乳动物出生之后建立的。学习成长的过程也就是这个神经网络变得复杂有效的过程，因此，神经元之间的连接学习是智力发展的关键。
两次陷入研究的低谷
截至目前，虽然我们还远远不能完全理解大脑的工作原理，但是人工智能从刚起步时起，就受到脑科学和神经生理学的强烈影响，它们始终影响着人工智能的研究进程。科学家在20世纪50年代就提出了简单模拟大脑神经元和神经网络的感知器，在学术界引起了轰动。很多人认为，只要神经元足够多，网络连接足够复杂，感知器就能模拟部分人类智力。但是人工智能奠基人之一的马文·明斯基在1969年证明，再复杂的感知器也只能实现线性函数，甚至连简单的“异或”逻辑都无法实现，原因就在于感知器是单层神经网络。而多层神经网络的学习在当时被认为是不可能的。因此，人工神经网络研究在人工智能领域很快就陷入了低谷，被基于规则和逻辑推理的专家系统所取代。
20世纪80年代，以Hopfield网络、波尔兹曼机和反向传播算法为代表的新的人工神经网络研究突破了感知器的局限，从而开始了长达十几年的基于神经网络的人工智能研究热潮。神经网络被广泛应用于图像识别、语音识别、工业控制、机器人、智能决策等领域。特别是反向传播算法部分解决了多层网络模型的学习问题。图2是典型的多层感知器模型，每个节点都代表着一个神经元，通常由一个简单的非线性函数表示，称为“激励函数”。两个节点间的连接由连接强度表示，称为“权重”。节点是分层布置的，网络的输出根据网络的连接方式、权重值和激励函数的不同而不同。
当时很多人乐观地认为，只要节点足够多，层数足够多，就可以学习出任意复杂的映射函数。但是大家逐渐发现，反向传播算法对于大型多层神经网络的训练效果很差，收敛速度非常慢。而与此同时，以支持向量机和概率图模型为代表的统计机器学习取得了突飞猛进的发展，神经网络研究再次陷入低谷。
深度学习技术
但是，科学家模拟人类大脑解决人工智能问题的研究始终没有停止。最新的脑科学研究表明，大脑各种神经元的信号处理机制和连接学习方式是不同的，特别是大脑的无意识感知和自我意识功能，并不需要有监督的学习。非监督学习和自主学习的重要性在大脑神经系统中占有重要地位。在Geoffrey Hinton、Yann LeCun、YoshuaBengio等人的坚持和努力下，人工神经网络研究专家于2006年前后提出了一种非监督和监督学习相结合的深度神经网络模型。
该模型可以首先创建一些网络层来提取样本隐含的特征而不使用带标签的数据，再创建少量的输出层添加到网络的顶部，使用反向传播算法进行微调。由于非监督层的网络训练不需要反向传播算法，因此可以构建多达上百层的网络，来模拟大脑认识和感知事物的不同层次的抽象能力。同时，近年来图形处理单元（GPU）、高性能计算机、云计算等先进计算技术的发展，也为深度神经网络大规模计算提供了可能。
深度学习解决了人工智能界努力了很多年却仍无进展的问题，能够发现高维数据中的复杂结构。在图像识别、语音识别等几乎所有重要的人工智能领域都打破了其他所有方法保持的纪录，包括预测潜在的药物分子活性、分析粒子加速器数据、重建大脑回路、预测在非编码DNA突变对基因表达和疾病的影响、自动问答和语言翻译等领域。借助深度学习技术，人工智能终于踏上了“强人工智能”之路（即机器的智慧水平将超过人类）。由于我们对大脑认知和学习机理的掌握依然是肤浅的，所以深度神经网络虽然在某些领域比人类大脑要强，但在涉及到情感认知等领域就会束手无策，整体智力水平仍不如三四岁的小孩。目前，美国、中国政府和欧盟都启动了人脑计划项目，希望通过对大脑更深入的理解来促进人工智能的发展。深度神经网络也在通过模拟大脑的多种类节点、可塑性连接、动态演化、网络集群等特征，来建立更强的人工智能。
大脑是宇宙中最复杂的系统之一，人工智能是人类对自我的超越，“人工大脑”在模拟人脑的基础上也会超越人脑。这一过程充满刺激也充满危险，它可能会从根本上改变人类发展的进程。
模拟大脑神经网络
我们知道，人工神经网络是对大脑神经网络系统的模拟。由于人工智能的终极目的是全面实现和超越人类大脑的智力水平，因此，在这一过程中对大脑神经系统进行模拟是人工智能研究的主要途径之一。
人类大脑的神经系统中包含大约1011个神经细胞（也叫神经元）。通过它们之间的互相连接，我们得到了一个由百万亿计连接组成的复杂神经网络，实现感知、运动、思维等各种功能。图1是生物神经元的基本结构。神经元之间依靠脉冲传递信息，信息内容是由脉冲的频率和时序决定的，与幅度无关。脉冲在神经细胞内运动，当神经细胞之间需要通信时，发出信息的神经细胞就会从轴突上释放出小泡，脉冲通过这些小泡中的化学物质产生离子流动，造成电位变化，在膜外传播到接收神经细胞的树突上，这个复杂的过程就叫做“化学突触传递”。包括人类在内的很多哺乳动物，刚出生时就有很多神经元，但是没有多少神经网络连接。大部分神经网络连接都是在哺乳动物出生之后建立的。学习成长的过程也就是这个神经网络变得复杂有效的过程，因此，神经元之间的连接学习是智力发展的关键。
两次陷入研究的低谷
截至目前，虽然我们还远远不能完全理解大脑的工作原理，但是人工智能从刚起步时起，就受到脑科学和神经生理学的强烈影响，它们始终影响着人工智能的研究进程。科学家在20世纪50年代就提出了简单模拟大脑神经元和神经网络的感知器，在学术界引起了轰动。很多人认为，只要神经元足够多，网络连接足够复杂，感知器就能模拟部分人类智力。但是人工智能奠基人之一的马文·明斯基在1969年证明，再复杂的感知器也只能实现线性函数，甚至连简单的“异或”逻辑都无法实现，原因就在于感知器是单层神经网络。而多层神经网络的学习在当时被认为是不可能的。因此，人工神经网络研究在人工智能领域很快就陷入了低谷，被基于规则和逻辑推理的专家系统所取代。
20世纪80年代，以Hopfield网络、波尔兹曼机和反向传播算法为代表的新的人工神经网络研究突破了感知器的局限，从而开始了长达十几年的基于神经网络的人工智能研究热潮。神经网络被广泛应用于图像识别、语音识别、工业控制、机器人、智能决策等领域。特别是反向传播算法部分解决了多层网络模型的学习问题。图2是典型的多层感知器模型，每个节点都代表着一个神经元，通常由一个简单的非线性函数表示，称为“激励函数”。两个节点间的连接由连接强度表示，称为“权重”。节点是分层布置的，网络的输出根据网络的连接方式、权重值和激励函数的不同而不同。
当时很多人乐观地认为，只要节点足够多，层数足够多，就可以学习出任意复杂的映射函数。但是大家逐渐发现，反向传播算法对于大型多层神经网络的训练效果很差，收敛速度非常慢。而与此同时，以支持向量机和概率图模型为代表的统计机器学习取得了突飞猛进的发展，神经网络研究再次陷入低谷。
深度学习技术
但是，科学家模拟人类大脑解决人工智能问题的研究始终没有停止。最新的脑科学研究表明，大脑各种神经元的信号处理机制和连接学习方式是不同的，特别是大脑的无意识感知和自我意识功能，并不需要有监督的学习。非监督学习和自主学习的重要性在大脑神经系统中占有重要地位。在Geoffrey Hinton、Yann LeCun、YoshuaBengio等人的坚持和努力下，人工神经网络研究专家于2006年前后提出了一种非监督和监督学习相结合的深度神经网络模型。
该模型可以首先创建一些网络层来提取样本隐含的特征而不使用带标签的数据，再创建少量的输出层添加到网络的顶部，使用反向传播算法进行微调。由于非监督层的网络训练不需要反向传播算法，因此可以构建多达上百层的网络，来模拟大脑认识和感知事物的不同层次的抽象能力。同时，近年来图形处理单元（GPU）、高性能计算机、云计算等先进计算技术的发展，也为深度神经网络大规模计算提供了可能。
深度学习解决了人工智能界努力了很多年却仍无进展的问题，能够发现高维数据中的复杂结构。在图像识别、语音识别等几乎所有重要的人工智能领域都打破了其他所有方法保持的纪录，包括预测潜在的药物分子活性、分析粒子加速器数据、重建大脑回路、预测在非编码DNA突变对基因表达和疾病的影响、自动问答和语言翻译等领域。借助深度学习技术，人工智能终于踏上了“强人工智能”之路（即机器的智慧水平将超过人类）。由于我们对大脑认知和学习机理的掌握依然是肤浅的，所以深度神经网络虽然在某些领域比人类大脑要强，但在涉及到情感认知等领域就会束手无策，整体智力水平仍不如三四岁的小孩。目前，美国、中国政府和欧盟都启动了人脑计划项目，希望通过对大脑更深入的理解来促进人工智能的发展。深度神经网络也在通过模拟大脑的多种类节点、可塑性连接、动态演化、网络集群等特征，来建立更强的人工智能。
大脑是宇宙中最复杂的系统之一，人工智能是人类对自我的超越，“人工大脑”在模拟人脑的基础上也会超越人脑。这一过程充满刺激也充满危险，它可能会从根本上改变人类发展的进程。