论文部分内容阅读
人工智能的终极目的是设计建造一种通用人工智能(Artificial General Intelligence)。即一个算法或一个模型就可以完成智能体所需的所有“智慧”。目前来看,人工智能在某些方面取得了令人惊喜的进步,比如图像识别,语音识别,机器翻译等等。2016-2017年Google的AlphaGo及其进化版本(AlphaGo Zero及AlphaZero)让人们看到人工智能已经发展到如此地步。然而,强大如AlphaZero,也只能在棋类游戏中称王称霸,如果问它一句“今天天气怎么样?”它同样答不出。不但如此,人工智能最重要也最应该具备的推理能力,记忆能力,目前来看还处在实验的初级阶段。可喜的是,目前以Google,Facebook为代表的科技巨头及其他科研人员已经在朝这个方向努力。有人已经证明循环神经网络(Recurrent Neural Networks,RNN)理论上是图灵完备的,但实际应用中,因为梯度弥散等等一系列问题导致其能力非常受限,其记忆能力很小,后来在其基础上发展出的长短时记忆网络(Long Short Memory Networks,LSTM)使其记忆能力提高不少,但当数据序列长度高出一定范围,LSTM仍旧捉襟见肘。人们目前考虑,人工智能的记忆能力是约束其能力的根本原因。Google,Facebook在2014年及之后分别提出并一直在改进自己的解决方案。Google的神经图灵机(Neural Turing Machines)与Facebook的记忆网络为了提高人工智能的推理能力,发展通用人工智能迈出了坚实的一步。特别是Google的神经图灵机及其后续版本:可微神经计算机(Differentiable Neural Computers)掀起了增强人工智能记忆能力,发展通用人工智能的研究热潮。本文基于bAbi问答数据集,将可微神经计算机应用于问答领域,对比研究目前流行的循环神经网络LSTM,GRU,SCRN,Delta-RNN,从准确率,训练耗时,模型参数,损失衰减等各个方面横向比较,并应用比率统计模型作为模型性能的评价指标,选择出在问答领域,LSTM(Long-Short Temporal Memory Networks)最适合作为可微神经计算机控制器的网络。