【摘 要】
：
基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型
【机 构】
：
中国科学院计算技术研究所智能信息处理重点实验室,中国科学院大学,都柏林城市大学ADAPT中心计算学院
论文部分内容阅读
基于注意力机制的神经网络机器翻译模型已经成为目前主流的翻译模型,在许多翻译方向上均超过了统计机器翻译模型,尤其是在训练语料规模比较大的情况下,优势更加明显。该模型使用编码器—解码器框架,将翻译任务建模成序列到序列的问题。然而,在基于门控循环单元(gated recurrent unit,GRU)的编码器—解码器模型中,随着模型层数的增加,梯度消失的问题使模型难以收敛并且严重退化,进而使翻译性能下降。该文使用了一种简单循环单元(simple recurrent unit,SRU)代替GRU单元,通过堆叠网络层数加深编码器和解码器的结构,提高了神经网络机器翻译模型的性能。我们在德语—英语和维语—汉语翻译任务上进行了实验,实验结果表明,在神经网络机器翻译模型中使用SRU单元,可以有效地解决梯度消失带来的模型难以训练的问题;通过加深模型能够显著地提升系统的翻译性能,同时保证训练速度基本不变。此外,我们还与基于残差连接(residual connections)的神经网络机器翻译模型进行了实验对比,实验结果表明,我们的模型有显著性优势。
其他文献
目的系统评价我国肝衰竭医院内真菌感染的相关危险因素,预防肝衰竭患者医院内真菌感染发生,改善预后。方法分别检索CBM、CNKI、VIP、Wanfang、Pubmed、ISI、Embase、Cochrane
本文总结和分析了人类各种肿瘤中350个以上TP53基因的独立点突变,证实了4个热点区的存在,它们被定位于一些蛋白的高度保守区,同时在肺癌中确定了一个新的热点区。突变事件分
刑事拘留是我国侦查机关在侦破案件、查获犯罪的过程中最常用的一项刑事强制措施。它是对现行犯或者重大嫌疑分子进行短暂的限制人身自由,防止其继续进行犯罪活动,逃避起诉和审判的法定的方法。本文通过对刑事拘留现状进行分析,剖析当前该制度存在的缺陷和不足,总结刑事拘留制度应当遵循的原则,借鉴外国刑事拘留制度的可取之处,本着找出事物本质特征解决问题的思路,对我国的刑事拘留制度展开研究。本文除引言外,将分五个部分
钙钛矿太阳电池以其较高的吸收系数、可调的光学带隙、优异的载流子传输能力、迅速提升的效率以及简单的制备工艺等诸多优点,成为近年来研究的热门领域。然而,传统钙钛矿太阳电池中含有对环境危害极大的重金属元素铅,考虑到太阳电池的环境友好化要求,此类太阳电池的进一步工业化应用受到了极大限制。为了使这一性能优越的太阳电池得以继续发展,无铅钙钛矿材料的开发和利用势在必行。我们通过缓慢降温挥发溶剂的方法,合成了一系
一氧化氮合酶(NOS)分三型,nNOS(神经源型),iNOS(诱生型)和eNOS(内皮型),其中nNOS和eNOS为钙调蛋白依赖型,主要存在于神经元细胞、内皮细胞、肾上腺皮质细胞和血小板中,钙调蛋
本文阐述了活塞环环面强化方法中以喷钼基粉取代镀硬铬的必要性,结合二汽产品零件要求选择涂层材料及设计涂层结构,并提出相应的工艺和结构措施。等离子喷涂工艺参数众多,著
5年前,'黄金周'这个词还没有在世人口中出现.如今,'黄金周'已经成了五一、十一、春节长假的代名词,为人们所熟知,并且成为'假日经济'的手段和'
第一部分胶质瘤中TERT启动子区突变对预后的影响目的端粒酶逆转录酶(Telomerase reverse transcriptase,TERT)启动子区突变广泛存在于甲状腺癌、肝癌、膀胱癌、黑色素瘤等多
近几年来,企业对于员工的社会责任越来越引起人们的关注,本文通过分析企业对于员工社会责任的认识误区和必要性,企业履行员工社会责任的对策,最终,将企业和员工的长远发展联
目的:根据对胃肠道间质瘤(Gastrointestinal stromal tumors,GISTs)的CT(Computer tomography)影像学表现及病理免疫组织学特征的分析,探讨不同CT表现与病理对照在GISTs危险