【摘 要】
：
分布式随机梯度下降法被广泛应用于大规模机器学习,同步随机梯度下降法和异步随机梯度下降法是两个典型的分布式随机梯度下降法.在同步随机梯度下降法中,所有的工作节点都需
【机 构】
：
中国科学技术大学电子工程与信息科学系,安徽合肥 230027
论文部分内容阅读
分布式随机梯度下降法被广泛应用于大规模机器学习,同步随机梯度下降法和异步随机梯度下降法是两个典型的分布式随机梯度下降法.在同步随机梯度下降法中,所有的工作节点都需要互相等待,导致训练速度受限于最慢的工作节点.在异步随机梯度下降法中,延迟的梯度会造成最终训练得到的模型很差.为此提出一种新的分布式随机梯度下降法:分组随机梯度下降法.该方法将通信和计算性能相近的工作节点划入同一组,这样就会将工作节点划分成若干的组.在同一组的工作节点以同步的方式工作,不同的组之间以异步的方式工作.由于组内的工作节点只需互相等待很短的时间,该方法可以缓解同步随机梯度下降法的掉队问题.由于组的数目远小于工作节点的数目,该方法梯度的延迟也很小.理论分析证明了该方法的收敛性.仿真结果表明,在异质集群中该方法的收敛速度比同步随机梯度下降法和异步随机梯度下降法更快.
其他文献
随着经济的持续发展和城镇化进程的快速推进,城市生活垃圾的产出量越来越多,垃圾处理成本不断增大,其中垃圾收运成本占据相当大的比例,为此分析了一种实际生活中复杂的垃圾收
炫耀性商品不仅满足消费者的功能需求,还满足他们的社会需求.部分消费者由于支付能力有限,转而通过价格更低但非常相似的仿品来满足自身需求.这里考虑存在高相似度仿品的情形
将经验模态分解(EMD)方法应用于度量金融市场的周期性,通过检验融资融券交易与股票指数周期性的相关性来研究我国融资融券业务的顺周期性.研究结果表明,融资交易对整体市场存
系统观视角下的“植物的一生”单元教学设计,从植物体是一个整体的角度,从不同层次的系统上,研究结构与功能的适应、物质与能量的转换以及系统的发展变化。这样视角的单元重构为核心素养落地提供了很好的着力点和生长点。
锂离子电池具有比能量高、循环寿命长、输出功率大、可承受较宽充放电倍率等特点,已成为电动汽车领域电池开发的研究热点.锂离子电池在循环过程中的热行为对其性能、循环寿命
利用多视图学习、流形学习以及协同正则化的多重惩罚处理,对含有大量无标签的类别数据提出一种多视图半监督学习的分类器构造方法.该方法由递归提升的方式对数据进行逐次多视
针对攻击者可能通过某些技术手段如生成式对抗网络(GAN)等窃取深度学习训练数据集中敏感信息的问题,结合差分隐私理论,提出经沃瑟斯坦生成式对抗网络(WGAN)反馈调参的深度学
现代社会中,生物学科学发展迅猛,基因工程技术也是日新月异。基于基因工程这部分内容在高中教材中的呈现、高考要求,下面对几个高频出现的问题做了整理和简要阐述。(1)自然界中的农杆菌侵染植物细胞时,只将其内部Ti质粒中的一段T-DNA侵入并整合到植物细胞中的染色体上,其自身并不侵入植物细胞中,有什么意义?
细胞壁物质凝胶是细胞壁物质直接在核磁共振管中与氘代溶剂生成的产物,无须分离成分就可以获得细胞壁良好分辨的2D 13C-1H相关核磁共振谱(2D HSQC NM R).为此选用氘代二甲基
一般认为,起伏地形对激发极化法勘探影响不大,这是因为在地下介质极化率均匀的理想情况下起伏地形没有影响.当存在矿体的复杂介质模型时,起伏地形对激发极化法预期会存在一定