【摘 要】
：
近年来,深度学习领域涌现出大量优秀的网络模型,在图像识别、物体追踪、医疗影像、自动驾驶、生物信息识别、数据生成等场景中取得了较大成功。有的模型在精度上成就很高,如CapsuleNet[1][2]、DenseNet[3]等,有的模型更注重运算速度,如MobileNet[4]、SqueezeNet[5]等。现在大多数的研究工作都着眼于新模型的设计,对已有模型的通用改进算法的研究,相比而言少了很多。所以
论文部分内容阅读
近年来,深度学习领域涌现出大量优秀的网络模型,在图像识别、物体追踪、医疗影像、自动驾驶、生物信息识别、数据生成等场景中取得了较大成功。有的模型在精度上成就很高,如CapsuleNet[1][2]、DenseNet[3]等,有的模型更注重运算速度,如MobileNet[4]、SqueezeNet[5]等。现在大多数的研究工作都着眼于新模型的设计,对已有模型的通用改进算法的研究,相比而言少了很多。所以在相同任务下,如何对已有模型进行改进,使精度和速度得以兼顾就成了本文的主要研究内容。本文尝试从三个方面着手:从函数拟合角度解释网络结构改进的必要性、从微分特征解释和改进卷积神经网络,以及从流形与镶嵌的角度理解并改进自编码器网络。第一部分,为了方便解释和运用,先利用张量、向量值函数等概念对深度学习作数学上的定义,把深度学习结构改进问题的研究转化成数学问题的研究,将全连接网络与卷积网络统一于一套框架下,说明二者的异同,介绍深度学习训练的意义,再利用拟合理论来解释深度学习的传播与训练过程,说明对网络结构的改进是有必要的。第二部分,从微分角度说明特征是什么,如何向前传播,解释卷积网络取得成功的原因,并且指出对卷积核进行改进的必要性;再利用截断奇异值分解来计算截断秩,以此代表当前层的本质特征数,观察实验取不同个数卷积核时对本质特征数的影响以及随之的泛化精度与速度变化,从而提出基于截断秩的一种卷积网络结构的改进算法,通过迭代计算进行网络改进,直至收敛。之后,本文选择图像分类任务中表现出色的resnet-34网络进行改进实验,试图找寻卷积核个数与网络性能之间的关系,并重新设计卷积核个数,使网络泛化能力达到最佳。第三部分,对于全连接网络,我们选取一种代表模型自编码器来进行改进,首先利用流形在背景空间中的镶嵌与映射来解释深度学习的工作原理,给出网络编码能力上限以及数据的编码复杂度,再提出一种量化表示的背景空间的空间利用率,利用截断秩监控流形所在背景空间的利用率,进而对自编码器进行结构上的调整改进的算法。最后通过实验验证算法的合理性。
其他文献
住宅是人类谋取生存与发展的必然选择，每一个民族都有关于住宅的历史。中国传统住宅文化带有神圣与神秘色彩。阳宅文化是中国传统住宅文化的独特表现形式。中国传统住宅文化应
复杂的地缘政治环境促使哀牢归附东汉,东汉在哀牢分布区设置永昌郡,使中国与印度两个大国在地理上第一次相连接,所以哀牢分布区不但是中印两国最早的边贸区,还是中印两国的重
本文对孙尚勇的《"相和歌"杂考》一文中部分观点提出商榷,认为相和歌的根本特性仍是"相和";"但歌"和"相和歌"的关系并不是单线更替而是多线并存,二者之间有一个长期并存的过
在阐述资产内部分块模拟租赁经营的主要含义、特点的基础上,总结分析了实施的效果和现实的意义,并就其实行过程中必须注意的问题进行了强调.同时,提出在建立现代企业制度难以
信息系统演练是银行信息系统连续性体系建设的重要环节,是保障生产运行安全,检验连续性体系是否完善和成熟的重要方式。定期开展信息系统演练对保障业务连续性具有重要意义。
高新技术企业近年来已经成为我国经济发展的重要支柱,国家在相关税收政策中对高新技术企业实行了优惠政策,从而使技术创新与税收优惠之间形成了良性循环。正确理解和运用税收
<正>乌兰杰是蒙古族音乐理论研究奠基人之一。几十年来,深入草原考察民间音乐,收集了丰富的第一手资料。在此基础上潜心研究蒙古族音乐史、民歌、萨满教音乐以及北方民族文化
随着国有企业改革的进一步深化,管理理念的转变和管理水平的提升,绝大部分国有企业建立了现代企业制度,逐步由传统的人事管理向人力资源管理转变,绩效考核在企业管理中的地位
我国新一代ＧＡ１６２型高速分条整经机的研制，被列为“八五”国家重点科技项目（攻关）计划。自１９９４年１月２１日研制开发后，每年为国家节省外汇９６０万美元，１９９６年荣获国家科技进步三等奖。这项耗时４年，耗资近２３０万元
企业人力资源管理体系中,绩效管理是重要组成部分之一,是企业管理的核心内容,更是作为一种企业管理文化存在。基于此,对绩效管理在企业中运行现状进行分析,并提出改进建议。