【摘 要】
：
卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VG
【机 构】
：
北京交通大学计算机与信息技术学院,北京100044;北京交通大学交通数据分析与挖掘北京市重点实验室,北京100044
论文部分内容阅读
卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.
其他文献
Transcription factors(TFs)modulate gene expression by regulating the accessibility of promoter DNA to RNA polymerases(RNAPs)in bacteria.The MerR family TFs are a large class of bacterial proteins unique in their physiological functions and molecular actio
“让自然保护产生动力”rn当越来越多人意识到自然保护的必要性,如何真正为未来生态注入可持续的保护动力?正在我国西部多个地区开展生态保护、生态服务型经济发展和国家公园体制研究实践的彭奎博士分享了从业多年的心得.
本文在分析多个版本教材对运动图象内容呈现方式基础上,选择香港版物理教材“直线运动的图象”一课,基于PASCO系统和情境化虚拟实验进行教学,促进学生对运动图象的科学理解.
为提高大比例尺地形图制图数据建库效率,以1∶500全要素地形图制图数据为例,分析制图数据与建库数据之间的逻辑关系,并建立空间数据和属性数据间的转换关系,最后通过Gcad+Ggis程序集批量将制图数据的点线数据转换成建库数据的点线面数据,同时提取制图数据的属性信息到建库数据的点线面要素中,从而实现制图数据高效建库.大比例尺地形图制图数据建库方法对其他类型制图数据建库有参考意义,所开发的制图数据建库的程序集可应用于其他比例尺地形图数据建库.
本文对国际青年物理学家锦标赛(International Young Physicists\' Tournament,简称IYPT)进行了简单介绍,根据该赛事的价值提炼了“PT思维”.并通过具体教学案例介绍了如何将“PT思维”引入高中物理课堂教学,以及分析了引入教学的优势和问题,对“新课程新教材”的实施有一定的借鉴意义.
Myocyte enhancer factor 2C(MEF2C)is highly expressed in the nervous system,and regulates neuro-development,synaptic plasticity,and inflammation.However,its mechanism in Alzheimer\'s disease(AD)is underestimated.In this study,the role and mechanism of ME
Helicobacter pylori(H.pylori)is known to be a major risk factor for the development of gastric cancer.In recent years,increasing attention is being paid to the role of non-H.pylori Helicobacters(NHPHs)in this disease and the role of microorganisms in loca
群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核
Previous studies have reported that the N6-methyladenosine demethylase ALKBH5 can regulate adipogenesis in humans.However,its function in birds remains unclear.In this study we aimed to explore the expression and function of the ALKBH5 gene in chicken adi
随着现实世界中图计算需求的快速增长,同一平台上往往并发运行着大量迭代图分析任务.然而,现有的图计算系统主要是为了高效执行单个图分析任务而设计的.因此,当多个并发图分析任务同时在同一个底层图上并行执行时,现有图计算系统会面临巨大的数据访问开销.为了提高并发图分析任务的吞吐量,现有的核外并发图处理方案通过共享图数据减少并发任务的数据存储与访问开销.但是,由于现实世界中图的图顶点度数幂律分布特性以及图分析任务之间的差异性,现有方案在访问数据时依旧存在着大量的不必要的冗余I/O开销.这是因为即使静态图分区中绝大部