多模态教学对话系统研究与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:lmmak
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,无论是面向特定任务的人机对话系统还是闲聊机器人,都只能根据已有的知识库进行响应,在与人交流的过程中,自身的知识并不能随之增长。智能的一个重要特征是能够通过多模态自然交互进行学习,增长知识。因此,非常有必要开展基于视觉、语言等多模态信息进行交互的智能学习系统的研究。为此,本文开展了如下的工作。设计了一个多模态教学对话系统。系统包括图像识别、口语理解、对话管理以及自然语言生成等模块。图像识别模块基于已有的深层神经网络获取的图像特征分别基于支持向量机和K-近邻方法进行属性和对象的识别;口语理解模块分别基于分类和序列标注模型进行对话意图识别和槽标注;对话管理采用有限状态自动机进行建模。系统可以将图像模态的信息与词汇信息相关联。系统还包含一个知识库,可以通过人机对话逐渐扩展充实。基于上述设计,在安卓平板电脑上实现了一个多模态教学对话系统。该系统通过人机多模态对话的方式学习对象的名称、颜色、形状、种类等知识,用户还可以对系统学习到的知识进行询问。实验结果表明,本文构建的多模态教学对话系统能够有效的通过多模态人机对话学习到知识。
其他文献
期刊
目的 探讨结核病房护士在护理TB/HIV双重感染患者过程中,如何有效地防止职业暴露.方法 加强护士岗前培训及专业技术培训,提高护士自我防护意识和操作技能,普及正压无针连接输
目的了解我国中心静脉导管相关性血流感染(CRBSI)的研究现状及发展趋势,为进一步的深入研究提供参考依据。方法以中国知网、万方、维普及中国生物医学文献数据库为检索来源,
随着社会经济的快速发展,信息技术的不断进步,现代水泥工艺、施工技术以及水泥加工工艺也在快速的发展,出现了很多不不同品种的混凝土材料,其质量也在逐渐地提高,应该范围也
基于职业精神的定义,该文浅述了图书馆员职业精神的内涵、图书馆员职业精神的培育内容以及途径等。
随着我国城市化进程的不断加快, 人们对环境的关注度越来越高, 景观设计师也应当仁不让地承担起改善人居环境的使命.通过对川西农耕文化景观要素进行分析, 从视觉层面, 将川
长时间以来,在教学中,语法翻译法和交际法都是被利用在英语教学中,一直都是所有教育学者研究的主要课题之一,对此,我个人觉得要将这些教学方法很好的结合到一起,并且真正的运用到学
新《英语课程标准》强调学生的情感教育,学生学习兴趣的培养对英语学习起着极其重要的作用。因此,作为中学的英语教师.首先应该激发学生的学习兴趣。本文结合课堂教学实践,探讨如
会计案例教学法,可以充分调动学生的学习积极性,增强学生的独立思考和独立决策能力,引导和督促学生将理论知识应用于实践,经过调查研究、独立思考、独立决策,有序地完成会计案例教