【摘 要】
：
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受
【机 构】
：
中国科学院软件研究所软件工程技术研发中心,中国科学院大学
论文部分内容阅读
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。
其他文献
陈辉自己还收藏了由国际台球大师亨得利、马克威廉姆斯、斯蒂芬李亲笔签名的限量这杆价值上万的球杆购自英国威尔士。原来,陈辉去一家俱乐部练球时偶遇了当时正加比赛的这几
乳腺非何杰金淋巴瘤(non-Hodgkin's lymphoma,NHL)非常少见,原发性双侧乳腺NHL更为罕见.作者2003年通过针吸细胞学检查(Fine Neddle Aspiration Cytology,FNAC)诊断本病1
目的研究胃癌和乳腺癌组织P-耐药糖蛋白(P-gp),p53蛋白表达及临床意义.方法应用免疫组化SABC法检测93例胃腺癌组织及60例乳腺癌组织中p-gp、p53蛋白的表达.结果乳腺癌组织中P
随着生成超短激光脉冲技术的不断发展，对这种激光脉冲和等离子体相互作用进行动力学描述也变得越来越重要。PIC（particle-in-cell）是一种在等离子体物理中，研究充能粒子在电磁场
本文通过对现代建筑作品中轴线系统的观察与比照，从多层次对此进行为深入的研究，加以分析，理解和应用，评价。
管壳式换热器的管箱密封一直是其设计和使用中重点关注的问题之一。阐述了垫片密封的基本原理、设计与选用，以及法兰、密封面、紧固件等对垫片密封的影响，比较了几种结构较复杂
2018年走访各地市场发现一个现象,常温乳酸菌饮品在终端表现极其抢眼,以往大多数是单瓶陈列,而且多数在货架上才能看到,满足随机性消费,现在企业推出了礼盒,从传统渠道到商超
在内存数据库故障恢复技术中,命令日志是针对内存数据库设计的粗粒度的、轻量级的日志记录方式。但在非统一内存访问(non-uniform memory access,NUMA)体系架构下面向数据的
本文列举了整体升 架，塔机，施工电梯在使用中的安装尺寸，并提出了选位原则，使它们可协调共同工作以保证施工安全顺利。
目的探讨CAF+TAM(三苯氧胺)治疗中、晚期乳腺癌的疗效和安全性.方法应用CAF+TAM方案治疗中、晚期乳腺癌42例.初治16例,复治26例.结果全组完全缓解(CR)12例(28.6%),部分缓解(P