【摘 要】
：
卷积神经网络（Convolutional Neural Network,CNN）近年来发展势头迅猛,被广泛应用在图像识别、模式识别等领域。用于图像识别CNN的错误率从2010年的28%降至2016年的3%,已经优于人类5%的错误率。目前,大型CNN的参数数量已经达到数百万,并且每幅图像需要多达数百亿次操作。随着卷积神经网络应用场景的拓展和计算需求的继续增长,学术界和工业界展开了对CNN加速器的探索
论文部分内容阅读
卷积神经网络（Convolutional Neural Network,CNN）近年来发展势头迅猛,被广泛应用在图像识别、模式识别等领域。用于图像识别CNN的错误率从2010年的28%降至2016年的3%,已经优于人类5%的错误率。目前,大型CNN的参数数量已经达到数百万,并且每幅图像需要多达数百亿次操作。随着卷积神经网络应用场景的拓展和计算需求的继续增长,学术界和工业界展开了对CNN加速器的探索。平衡计算和存储的关系是CNN加速器设计的一个难点。当使用传统的微处理器体系结构构建高性能CNN加速器时,CNN加速器面临严峻的存储带宽和容量的挑战。存储中运算（Process-in-Memory,PIM）结构的出现为解决CNN加速器设计中存储墙问题提供了可行方案,成为实现CNN加速器最具潜力的体系结构之一。以存储为核心的新体系结构通过合并运算单元和存储器,避免了大量的数据移动,实现了存储和计算的平衡。动态随机存储器（Dynamic Random Access Memory,DRAM）以其高集成密度、成熟的生产工艺和丰富的潜在计算资源从众多存储介质的候选者中脱颖而出。然而,在动态随机存储器中支持快速的卷积操作极富挑战。DRAM成熟低廉的生产工艺限制了卷积神经网络高性能运算部件的设计和计算潜能。目前的研究中仍缺乏强大的运算单元和对DRAM友好的高层次优化来释放DRAM的全部计算潜力。本文提出了一个基于动态随机存储器的卷积神经网络加速器LAcc,并围绕LAcc展开了一系列的研究。论文的主要工作和创新点如下:·本文提出了一种基于DRAM的超前进位加法运算部件。该加法部件的硬件实现利用了已有的DRAM按位操作和我们提出的增强功能。本文利用LAcc实现了三元权重神经网络,以满足卷积神经网络对准确性和高能耗效率的需求。实验结果表明,所提设计在Alexnet网络上实现了84.8 FPS（每秒帧数）的识别速度和2W的功率,比临近存储计算的设计提高了2.9倍的能耗效率（性能/功率）。·本文提出了一种适用于DRAM的基于查找表（Look-up Table,LUT）的向量乘法运算部件。该设计利用乘法分解减小LUT的大小,平衡LUT重用次数和建立LUT的开销。本文提出了一种新的LUT编码,进一步减少LUT的大小,同时提出了一种优化的异或操作以加速DRAM中的加法运算。实验结果表明,在没有精度损失的情况下,LAcc乘法性能比基于累加的设计提高了6.8倍,并且能耗效率比基于概率的近似乘法设计提高了6.3倍。·本文提出了一种面向LAcc的灵活数据划分策略,以动态匹配DRAM Page对并行性的需求。本文分析了多种数据划分对硬件带来的影响,并在此基础上提出了三种工作模式以满足不同应用场景的需求。三种模式为高吞吐率模式,单任务响应模式和高能耗效率模式。实验结果表明,对于Alexnet网络,高吞吐率模式的性能比临近存储计算的设计提高了57%,单任务响应模式的响应时间为0.27秒。·本文提出了一种面向LAcc的数据混合映射方法,利用不同数据类型的并行性进一步优化DRAM的硬件资源利用率。本文进一步分析了采用不同乘法分解方式和批量大小时,硬件资源的利用率和并行性变化。实验结果表明,混合映射方法比单一的映射方法平均性能提高了12.4%,硬件资源利用率提高了近10%。·本文提出了一种面向LAcc的基于计算重用的近似乘法优化。本文利用乘法分解后高位产生的查找表替换低位的查找表,求得矢量乘法的近似解。同时,本文在DRAM中实现了支持快速并行查找操作所需的CAM模块。实验结果表明,对于较小的网络Mobilenet,近似乘法可以实现2.3倍的性能提升。·本文提出了一种面向LAcc基于数值零的计算加速方法。除了对数据全零的优化外,我们还对数据二进制编码中的零进行了优化。通过基于二叉树的数据排序将更多二进制中的零捆绑在一起。实验结果表明,对于Alexnet网络,我们所提的优化方法提高了34%的性能。当结合近似乘法后,最大的性能提升达到32倍。
其他文献
改革开放以来,我国成立了家庭联产承包责任制的“两权分置”土地制度,但随着城乡统筹的发展与农业现代化发展,“两权分置”的土地制度无法满足当前社会的需求,农村因为农民的流失,出现大量空心村闲置土地,导致乡村发展不平衡,土地利用不充分等问题。现今新型土地制度“三权分置”政策在国家层面颁出,放活农村土地经营权对乡村的发展带来了新契机。基于此,本文在三权视角下对乡村发展问题进行探索,结合“三权分置”政策实行
在城市发展的历史进程中,城市与景观环境一直以来以一种互动关系共生于一个系统之中,以不同的组合方式创造了不同的城市类型,其中山水城市模式是古今中外公认的城市典范。中国古代营城往往离不开山水环境,视其为城市中必不可少的重要组成部分,而今的城市研究却往往与古人营城所展示出来的山水人居环境思想有所偏差。同时,随着城市化进程的加快,生态环境在城市建设中容易被忽视,过度人工化趋势明显,伴随着地域文化特色的逐步
身份认证是保障网络空间安全的关键机制之一。单因子身份认证方法存在容易被攻击、安全性弱的不足,使用包括用户生物特征在内的多因子身份认证成为当前的主要途径。本文针对多因子认证方案在不同应用环境中所面临的问题,以增加方案的安全性和运行效率为目标,结合零知识证明技术研究多因子远程认证方法。与已有方案在本地认证用户因子的方法不同,我们提出服务器远程直接认证用户多个因子的思路,分别为单服务器场景、移动云计算以
随着现代互联网络技术的快速发展,各种网络应用已经深深地渗透到了社会的每一个角落:从基本的工作应用需求出发,一直延伸到人们的衣食住行,社交和娱乐需求中。丰富的互联网应用在给人们带来多彩生活的同时,却给支撑起这些应用的基础通信网络带来了各种挑战。这些挑战包括:首先,网络规模的不断扩大,网络用户数量的逐年增加,以及通信数据的海量传输,使得不断增加的互联网带宽仍显捉襟见肘;与此同时,网络特性的变化对网络服
科技强则国家强,科技兴则军队兴。依靠创新科技推动国防和军队建设实现新跨越,是为迎接世界局势变化带来的挑战,加速推进中国特色军事变革的必然要求。本研究以演化经济学作为基础理论,结合演化经济学中的适应性原理、复杂系统原理以及耗散结构原理,将国防科技协同创新活动视作一个具有非线性、动态性、多层次性的复杂创新系统。依照演化经济学理论中“新奇”的创生、传播、适应三个演化过程为线索,创造性地将复杂的国防科技协
“兵者,国之大事,死生之地,存亡之道,不可不察也。”战争关乎国家安危,必须运用科学的理论和方法做出正确的决策,作战行动计划质量的高低事关战争的成败,必须运用科学的方法对其进行研究。信息技术的发展使得武器装备系统之间的互联互通更加频繁,作战体系化和网络化的特征愈发明显,尤其是无人装备和集群作战样式的兴起,使得作战体系（Combat System of Systems,CSo S）网络化的趋势更加明显
习主席强调指出,“掌握思想领导是掌握一切领导的第一位。”思想政治教育是我军政治工作的重要组成部分,其根本目的就是要将我们党的精神、意志和主张灌注于官兵的头脑和灵魂之中,从而牢牢掌握官兵思想,确保我军始终置于党的绝对领导之下。当前,随着网络信息技术的迭代更新速度不断加快,各种类型的社交媒体花样翻新、层出不穷,它们一方面因为能够为广大官兵的学习、工作和生活提供极大便利而日益成为广大官兵须臾不可或缺的生
信息系统与信息管理是以信息为核心资源,以信息技术为核心能力,面向宏观与微观各层面的解决经济和管理实际问题的重要科学领域,具有“信息、技术、管理”三个重要维度。信息的爆炸式增长催生了以计算机网络为基础的分布式系统。尽管分布式系统不断演进并得到广泛推广和应用,仍然存在一些基础性问题制约其效能的充分发挥。内容同步技术就是一个典型代表。分布式场景下,都存在不同主机之间需要快速准确的内容同步需求,例如集群节
作为一种广泛使用的在线凸优化方法,在线梯度下降算法通常用来求解在线学习问题。它把在线学习的过程建模为一个连续地博弈问题。博弈的双方分别为学习者和未知环境。在每次博弈时,由学习者先出牌,它根据历史信息给出一个出牌策略,即决策模型。然后由未知环境再出牌,它根据学习者给出的决策模型给出一个损失函数,因此带来了具体的损失。大量的文献研究了在线梯度下降算法以及它的各种变种方法,并分析了它们的性能。相关工作通