论文部分内容阅读
基于语言模型的预训练已经在很多自然语言处理任务中取得了显著的性能,然而由于起巨大的模型容量和复杂的计算,往往需要消耗大量的存储资源,在资源受限的设备上难以发挥其性能优势,本文对当前被广泛应用的BERT压缩技术从效率,性能以及压缩强度等多个角度进行了分析.
基于BERT预训练模型压缩技术分析
【摘 要】
：
基于语言模型的预训练已经在很多自然语言处理任务中取得了显著的性能,然而由于起巨大的模型容量和复杂的计算,往往需要消耗大量的存储资源,在资源受限的设备上难以发挥其性
【机 构】
：
中国专利信息中心
【出 处】
：
科学与信息化
【发表日期】
：
2020年14期
其他文献
＂The construction of a tower is one of mankind＇s oldest dreams.建造高塔是人类自古以来的梦想。＂这是一句写在世界高塔联盟官网上的话。圣经中记载,人类曾经着手建造一座直
本文对农林卫生益鸟－楼燕的弃卵和幼鸟分别进行了人工孵化和人工喂养的尝试，初获成功，并与自然条件下卵的孵化及亲鸟育雏的状况进行了对比。
本文提出了一种用平行光管测凹透镜焦距的方法，并进行误差分析，讨论了减小测量误差的途径。
目前,我国的机械制造产业如日中天,尤其是在各类机械产品需求稳健增长的今天,更是加大了机械制造产业的发展进程。但是,快速的发展同时也是一种全新的挑战,一场机械加工质量
在谷歌对摩托罗拉移动进行”消化”的过程中，摩托罗拉移动经历了一次又一次的裁员震动，或许现在的摩托罗拉移动应该反问自己一声：“Hello Moto？”
微型化实验(简称M.C.L)是本世纪80年代崛起的一种化学实验新方法和技术,它具有节省实验经费、污染少、现象明显、快速的特点。作为化学实验改革的一种重要手段,已引起各国化
数据压缩技术一直是多媒体发展的瓶颈,提高图像压缩比无疑具有现实意义。本文对16色BMP图像的BI_RLE8压缩算法进行了改进,把压缩比提高到原来的4/3倍。并针对源图像文件和已压缩的图像文件给出了两种新的压缩算法描述。
激光显微光谱谱线强度与所研究原子浓度间没有确定的简单关系，其主要因素是激光显微光谱有自吸现象。本文提出通过理论模型进行自吸修正，使实验观测谱线轮廓转为无自吸校正曲线
在内可逆卡诺制冷循环的基础上，进一步研究热漏对卡诺制冷机性能的影响，结果表明，考虑热漏的影响，可使制冷机的最佳制冷系数与制冷率间的关系与实际制冷机的观测性能相符。
采用具有新型塔内件的高效填料塔技术，将甲醇回收率提高到９８％以上，甲醇纯度可达９９．８％。同时采用连续水蒸汽直接加热的精馏技术，提高了精馏热效率，节约了热能消耗，生产成本显著降低。应用本