【摘 要】
：
针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三个数据集上使用动量分数阶梯度下降算法与传统梯度下降算法、动量梯度下降算法作对比实验,实验数据表明,动量分数阶梯度下降算法可以在不同复杂程度的数据集上,在保证较高分类准确率的前提下,极大提高卷
【机 构】
：
新疆大学 电气工程学院,乌鲁木齐 830047;新疆大学 电气工程学院,乌鲁木齐 830047;大连理工大学 控制科学与工程学院,辽宁 大连 116024;大连医科大学 基础医学院,辽宁 大连 116
论文部分内容阅读
针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三个数据集上使用动量分数阶梯度下降算法与传统梯度下降算法、动量梯度下降算法作对比实验,实验数据表明,动量分数阶梯度下降算法可以在不同复杂程度的数据集上,在保证较高分类准确率的前提下,极大提高卷积神经网络的收敛速度,为训练卷积神经网络节省大量时间成本.
其他文献
具有优越性能的卷积神经网络算法已得到广泛应用,但其参数量大、计算复杂、层间独立性高等特点也使其难以高效地部署在较低功耗和较少资源的边缘场景.为此结合该种算法的特点提出了一种基于混合架构的卷积神经网络计算加速方法,该方法选用CPU加FPGA的混合架构,对网络模型进行了压缩优化;在FPGA上通过指令控制数据流的DSP阵列结构实现了卷积计算加速;通过YOLO算法测试了该方法的加速性能,在7000万门级FPGA上各类资源消耗低于50％且总功耗为7.36 W的情况下,吞吐率达到了120 GOPS.
目的 分析对新生儿呼吸窘迫实施肺表面活性物质联合无创通气治疗的效果.方法 抽取2020年1月至12月间我院收治的呼吸窘迫新生儿60例作为此次的观察对象,并根据随机数字表法将其分成各有30例的对照组以及观察组,分别接受无创正压通气以及肺表面活性物质联合无创通气进行治疗,并对不同的疗效进行对比分析.结果 肺功能指标,治疗前无统计学意义(p＞0.05),治疗后,观察组优于对照组,差异具有统计学意义(p＜0.05);并发症发生率,观察组低于对照组,差异具有统计学意义(p＜0.05).结论 对呼吸窘迫新生儿实施肺表
检测托攻击的本质是对真实用户和虚假用户进行分类,现有的检测算法对于具有选择项的流行攻击、段攻击等攻击方式的检测鲁棒性较差.针对这一问题,通过分析真实用户和虚假用户的评分分布情况,结合ID3决策树提出基于用户评分离散度的托攻击检测Dispersion-C算法.算法通过用户评分极端评分比、去极端评分方差和用户评分标准差3个特征衡量用户评分离散度,并将其作为ID3决策树算法的分类特征,根据不同特征的信息增益选择特征作为分类属性,训练分类器.实验结果表明,Dispersion-C算法对各类托攻击均有良好的检测效果
针对二分K-均值算法由于随机选取初始中心及人为定义聚类数而造成的聚类结果不稳定问题,提出了基于密度和中心指标的Canopy二分K-均值算法SDC_Bisecting K-Means.首先计算样本中数据密度及其邻域半径;然后选出密度最小的数据并结合Canopy算法的思想进行聚类,将得到的簇的个数及其中心作为二分K-均值算法的输入参数;最后在二分K-均值算法的基础上引入指数函数和中心指标对原始样本进行聚类.利用UCI数据集和自建数据集进行模拟实验对比,结果表明SDC_Bisecting K-M eans不仅使
事件信息抽取是信息抽取任务中的一种,旨在识别并提出一个事件的触发词和元素.由于容易受到数据稀疏的影响,事件要素的抽取是中文事件抽取任务中的一个难点,研究的重点在于特征工程的构建.中文语法相较英文要复杂许多,所以捕获英文文本特征的方法在中文任务中效果并不明显,而目前常用的神经网络模型仅考虑了上下文信息,不能兼顾词法和句法特征.因此针对中文的词法和句法特点,构建一种结合分组长短期记忆网络(grouped long-short term memory,GLSTM)和Attention的中文事件要素抽取方法AGC
针对大数据背景下随机森林算法中存在协方差矩阵规模较大、子空间特征信息覆盖不足和节点通信开销大的问题,提出了基于PCA和子空间分层选择的并行随机森林算法PLA-PRF(PCA and subspace layer sampling on parallel random forest algorithm).对初始特征集,提出了基于PCA的矩阵分解策略(matrix factorization strategy,MFS),压缩原始特征集,提取主成分特征,解决特征变换过程中协方差矩阵规模较大的问题;基于主成分特征
语法纠错(grammatical error correction,GEC)是自然语言处理领域的重要应用之一,在近几年取得了较大的进展和丰富的研究成果.对语法纠错研究进行了深入调研,旨在更好地了解当前的研究进展、面对的挑战和未来发展趋势.介绍了语法纠错的基本含义和研究概况,分析了语法纠错领域的重要研究进展,对数据处理方法、算法模型和GEC评估方法等关键方法分别做了探讨,并概括了中文语法纠错的研究状况.总结了语法纠错研究的相关资源,主要包括文献资源、开源应用和公开数据,并讨论了GEC面临的问题和挑战.
传统推荐算法大多使用用户评分数据来推测用户偏好,仅用评分数据会导致推荐结果单一,缺乏多样性和个性化,同时评分数据还普遍存在严重的稀疏性问题.针对上述问题,提出了一种基于情境信息迁移的因子分解机推荐算法.根据情境信息对数据集进行划分,利用自适应增强方法对不同情境下的数据样本进行迁移处理,将处理后的数据集放入因子分解机,实现评分预测.实验结果表明该算法能在充分使用数据样本、缓解稀疏性问题同时,进行更准确的个性化推荐,相较于传统推荐算法推荐误差降低了2.05％.
为了解决车辆端计算能力不足、任务处理时延大、能源消耗多、无线资源缺乏等问题,该文考虑利用非正交多址技术进行任务上传和数据包下载的车辆边缘计算系统,对系统的卸载决策、缓存决策、计算和缓存资源的分配进行联合优化.由于车辆需要在动态网络环境下实时确定任务卸载和缓存策略,提出了一个以移动边缘计算服务器平均能耗最小化为目标的随机优化问题,以获得最佳性能.利用李雅普诺夫优化理论,构建惩罚漂移函数后将其解耦为两个独立的子问题,采用0-1规划和线性规划求出问题的最优解.仿真结果表明,与传统正交多址接入方案相比,基于非正交
为研究多社团网络级联失效问题,设计一种社团规模和结构可调的网络模型.在经典的线性负载-容量模型基础上,提出一种初始负载、容忍负载、临界负载三个阶段节点失效模型.采取蓄意攻击和随机攻击方式对网络进行攻击,通过评估指标的变化分析网络的鲁棒性.仿真结果表明:随机攻击时多社团网络鲁棒,蓄意攻击时多社团网络脆弱;节点初始负载越低,网络越鲁棒;社团内节点连接越均匀,社团间连接初始负载越低的节点,网络越鲁棒;给头节点附加二次容忍负载和将级联失效限制在一个社团内,网络越脆弱,容易引起网络级联失效.