【摘 要】
：
近年来,深度学习技术获得了快速发展,机器翻译领域中的相关研究也不断深入。其中,前几年出现的基于注意力机制的编码器-解码器神经机器翻译框架,在效果上彻底超越了传统的统计机器翻译框架。而最新的Transformer框架,更是将神经机器翻译的效果提升到了新的台阶。由于受到训练方法的限制,这些先进的框架在翻译的过程当中都是将句子作为一个整体来考虑的,而在实际的翻译过程中,我们面对的文本往往是由多个句子组成
论文部分内容阅读
近年来,深度学习技术获得了快速发展,机器翻译领域中的相关研究也不断深入。其中,前几年出现的基于注意力机制的编码器-解码器神经机器翻译框架,在效果上彻底超越了传统的统计机器翻译框架。而最新的Transformer框架,更是将神经机器翻译的效果提升到了新的台阶。由于受到训练方法的限制,这些先进的框架在翻译的过程当中都是将句子作为一个整体来考虑的,而在实际的翻译过程中,我们面对的文本往往是由多个句子组成的语篇。由于语篇的独立特性,这些句子层级的模型在语篇翻译的任务上的译文往往会缺乏连贯性和衔接性。因此本文的目标就是提出一个篇章级的改进框架,提升神经机器翻译模型在语篇翻译任务上的效果。本文的工作借鉴了当今前沿的神经机器翻译模型跨句研究,结合了两种研究思路的特点,提出了基于缓存模型的篇章级神经机器翻译改进模型。我们的模型以编码器-解码器框架为基础,将语篇作为一个整体来考虑,在每个句子翻译步骤之间使用一个缓存模型来记忆源端文本的历史编码器状态。除语篇首句翻译之外,我们都使用一个多头注意力网络和门控结构,将缓存中的历史编码器状态作为上下文信息引入当前步骤的解码器当中,以提升翻译效果。另外,改进模型中的缓存模型结构与运作机制也十分重要,因此我们对这一问题进行了深入研究,提出了基于主-述结构信息指导的改进缓存模型。缓存模型的结构采用键-值的模式,其中的信息存储与更新由一个主-述结构标注网络和一个逻辑斯蒂回归模型控制。我们在改进模型上进行了大量的实验,尝试了不同的缓存模型内部机制和上下文信息引入策略,并且与当下先进的句对级模型进行了对比。最终实验结果表明,我们的改进模型相比于句对级模型在语篇翻译任务上的效果有了显著的提升。
其他文献
随着智能监控,自动驾驶等计算机视觉应用的普及,图像分类作为这类应用的底层支持,近几年来获得了快速的发展。然而在现实生活及生产活动中,获取的图像大部分都是没有标签的,
随着油气资源勘探开发程度的不断提高,页岩油气资源成为勘探开发的热点,有机质含量是页岩储层测井评价的重要参数,可靠的页岩储层有机质计算方法对页岩油气资源的勘探开发具
函数优化问题广泛的存在于各个工程领域之中,因此对优化算法的研究具有重要的理论意义和现实意义。群智能优化算法是当前优化算法中的研究热点,飞蛾扑火优化(Moth-flame Optimization,MFO)算法作为一种全新的群智能优化算法,渐渐受到学者们的关注。本文针对MFO算法存在的容易出现早熟收敛现象和无法快速收敛的问题,提出一种融合折射原理反向学习的飞蛾扑火优化算法(Moth-flame op
石墨烯将人们的注意力吸引到二维材料领域,加速了对其它二维材料的研究和发现。通过周期表第IV族元素（Si,Ge,Sn）代替石墨烯中的碳（C）原子,人们提出并制备了具有相似结构的蜂窝状
随着无线充电技术的发展,催生出无线可充电传感器网络,该新型网络采用无线充电技术给传感器补充电量,提升传感器整体寿命而获得广泛关注。然而,无线充电技术较高的能量损耗导致在现实中应用困难。为了减少充电资源消耗,提高充电效用,本文研究了两个无线充电器部署优化问题,其主要内容如下:研究面向充电效用最大化的充电器部署优化。该部分求解的问题是给定充电功率预算,和平面上一组传感器,将无线充电器部署在2D平面上,
轮胎磨损产生的细小颗粒物包括橡胶颗粒、炭黑及氧化锌颗粒等,磨掉的橡胶颗粒尺度在几微米至几百微米,而与橡胶结合不好被磨下的炭黑颗粒为纳米尺度,纳米氧化锌颗粒尺寸在1-1
实体关系抽取作为信息抽取的主要任务之一,其目的在于确定无结构文本中两个实体的关系类别,为进一步构建知识图谱、智能问答等应用奠定了理论基础。目前实体关系抽取最常用的
随着互联网的发展,域名系统已经成为了互联网的基础设施。域名系统是一种特殊的名称系统,名称系统本质上是一种映射技术,其维护一种名称域到值域的映射关系,其主要功能是为其
随着4G、5G技术的普及和移动互联网的高速发展,人们信息交互变得更加迅捷。视频逐渐变成了人们生活中不可或缺的一部分,然而随着视频的数量呈指数式增加,如何对视频的内容进
介质阻挡放电（Dielectric Barrier Discharge,DBD）因具有装置简单、易实现均匀稳定放电等优点,而被广泛研究并在多个领域中得以应用。但是,由于DBD的放电过程较为复杂,涉及到相