【摘 要】
：
随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(Multi-Granularity Recurrent Neural Networ
【机 构】
：
福州大学数学与计算机科学学院,福州350116;福建省网络计算与智能信息处理重点实验室,福州350116;CCF
论文部分内容阅读
随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(Multi-Granularity Recurrent Neural Network with Word Attention).首先,MRNA使用双通道网络,融合字符级和词语级语义信息,从而获得更准确的语义表征.其次,为了在语义匹配过程中充分提取对话上下文和回答中的相关语义信息,MRNA使用词注意力机制,动态地学习注意力矩阵的权重,从而提取与对话上下文和回答最契合的关键信息.此外,为进一步增强对话上下文和回答的语义匹配度,MRNA采用AHRE(Attentive Hierarchical Recurrent Encoder)对句子进行分层编码后输出的句子进行了分割得到前向序列相似度矩阵和后向序列相似度矩阵,从而获取多粒度的语义匹配信息.多个多轮对话数据集上的实验结果表明,MR-NA模型在精度,召回率等方面均优于对比模型.
其他文献
隐式情感分析作为自然语言处理领域的子任务,因不具备显式情感词作为情感线索,使得传统文本情感分析方法不再有效.本文旨在使用深度学习方法进行文本的隐式情感分析,根据文本隐式情感极性与句中实体、上下文语境、外部知识相关的特点,本文提出一种基于ERNIE2.0-BiLSTM-Attention (EBA)的隐式情感分析方法,能够较好捕捉隐式情感句的语义及上下文信息,有效提升隐式情感的识别能力,最后在SMP2019公开数据集上取得较好分类效果,分类模型准确率达到82.3％.
三支决策的基本思想是以“三”思考.随着理论的深入研究,2018年,姚一豫教授提出三支决策的TAO模型(Trisecting-acting-outcome),即在原有分治模型基础上,增加了新的要素-“效”,形成分(Trisecting)-治(Acting)-效(Outcome)结合的三支决策TAO模型.依托TAO模型,关注于\'治\'-\'效\'两步,研究策略施加后模型的有效性.在一类特殊的三支决策模型—基于移动的三支决策模型基础上,提出使用比例效用函数来度量三支决策的有效性,即将决策前后的
自组装是群组机器人协作中的重要研究领域,路径规划和障碍躲避是该领域的核心问题.人工势场算法(APF)及其改进在机器人路径规划中应用广泛但其在动态目标指派、迭代速度、机器人抖动等方面表现不尽如人意,因此本文提出了一种基于Voronoi约束的改进人工势场算法(VAPF),来实现群组机器人在动态目标指派策略的避障路径规划.通过匈牙利算法的目标点指派和替换策略为群组机器人提供相对最优目标指派,以群组机器人实时位置构建Voronoi图并限制机器人运动区域来保证碰撞避免,机器人个体通过人工势场算法进行自身的短程路径规
针对帝王蝶优化算法用于特征选择时需满足多目标的要求,对该算法进行了3个方面的改进:1)在个体排序步骤中引入非支配排序算法,并对调整算子做了修正,满足了多目标要求;2)增加了准确度优先策略,减少了计算资源在低准确性区域的搜索,保证了模型的准确性,满足了特征选择中准确性优先于特征数的要求;3)增加了基于子组的突变策略,对不同子组使用不同的突变策略,避免了算法过早陷入局部最优,解决了算法早熟问题.在3个定量构效特征选择基准数据集上进行了一系列实验,实验结果表明改进的算法与其它算法相比显著提高了模型的准确性并减少
本文模仿自然界生物蛇的运动,构建了一种模块可重组、强冗余性的蛇形机器人.其应用背景为不同直径的燃气、热力水平管道.目的 是在管道内以行波或螺旋的形式向前运动进行管道内壁探测.首先对蛇形机器人的机械结构和外壳进行设计;再通过MATLAB软件结合D-H分析法对其运动学进行了建模仿真,并对其控制参数进行优化,最终得到较优的空间位姿;其次为了分析蛇形机器人的运动受力情况,利用SolidWorks软件建立了样机与管道模型,之后导入ADAMS力学仿真平台进行仿真.最后进行了真实的管内运动实验.结果 证明:该蛇形机器人
代码注释有助于提高程序的可读性和可理解性,而不断地创建和更新注释非常费时费力,这将影响对软件的理解、重用和维护.自动代码注释试图解决此类问题,其中代码的表示和文本生成是研究的核心问题.该文提出一种基于编码器-解码器结构的自动生成Java代码注释模型.方法 将代码的顺序序列和代码结构作为单独的输入进行处理,允许模型学习Java方法的结构和语义;以一定的概率从模型生成的预测序列和真实词序列中采样作为下一步的输入,以提高模型的纠错恢复能力.通过与3种典型自动代码注释方法在11个Java项目上的对比实验,结果表明
问答系统的一项关键任务就是如何理解用户的问句意图并将其正确地分类到相应的领域中,其分类性能直接影响着问答系统的质量.针对中文医疗健康问句数据量庞大但文本字符数少、特征稀疏的特点,以及传统卷积神经网络和循环神经网络的不足,提出了一种融合主题信息和Transformer模型的健康问句意图分类方法.首先,对短文本数据集预处理后通过BERT预训练语言模型生成词的词向量;其次,分别使用BTM主题模型和TWE模型获得文档-主题矩阵、主题-词矩阵和主题向量矩阵,由矩阵变换生成每个词的主题向量;然后,将词向量和词的主题向
在当今信息爆炸的大数据时代,不完全数据是数据聚类分析中一个普遍存在的问题.然而,传统模糊C均值(fuzzy c means,FCM)算法的很多缺点,如易陷入局部最优,缺乏对特征信息的充分考虑等,当出现信息缺失尤其是面对稀疏数据时,都将严重影响聚类结果.为了解决该问题,本文提出一种基于多重信息的不完全数据的FCM算法.该算法首先引入部分距离策略,给出了不完全数据的簇内距离平方和计算公式;其次,充分利用动态特征权重和簇间距离信息,有效地提高该算法的准确性;再者,运用粒子群优化算法进行聚类,借助其强大的全局寻优
图卷积网络如今越来越多地被应用于推荐系统任务中,由于该模型可以有效捕获多跳邻居的信息,因此可以一定程度上缓解数据稀疏性问题,有效提升推荐任务的准确性.但是目前大部分工作都是直接使用图卷积网络,在推荐任务上算法复杂度较高.本文提出了一个融合轻量图卷积网络和注意力机制的模型.该模型通过嵌入传播获得更多邻域的协同信息,同时利用注意力网络对不同的邻域进行区分,最后用于推荐.从而在降低算法复杂度的基础上进一步提升了模型的准确性.通过在Gowalla、Yelp2018和Amazon-book 3个不同领域的真实数据集
云平台主机资源负载预测对于提高系统资源利用率以及实现资源分配的优化至关重要,也是实现云平台服务水平协议的关键所在.有效的主机负载预测机制可促进主动作业调度,辅助主机负载平衡决策,这反过来可以提高主机资源利用率、改善作业性能、降低数据中心成本.具体来看,云平台中主机工作负载具有快速变化、波动大和长期信息依赖等特点,这使得负载预测工作变得复杂.为了解决上述预测问题,本文做了如下工作:1)实现了适合主机平均负载预测的指数分段预测模式;2)完成了主机实际负载多步预测模式;3)在2个真实云平台数据集进行实验,并采用