【摘 要】
：
情感计算是一个新兴的跨学科研究领域,汇集了人工智能,自然语言处理,认知科学和社会科学等不同领域的研究人员和实践者。随着在线发布的关于产品评论,电影评论,政治观点等视频的泛滥,网上多模态内容的数量呈指数级增长,情感计算分析研究已经从传统的单模分析演变为更复杂的多模态分析。现有的情感分析大部分关注视频中图片的情感分类,忽视了图片帧序列的时空信息以及文本和音频信息。另一方面,现有的多核学习易忽略不具鉴别
论文部分内容阅读
情感计算是一个新兴的跨学科研究领域,汇集了人工智能,自然语言处理,认知科学和社会科学等不同领域的研究人员和实践者。随着在线发布的关于产品评论,电影评论,政治观点等视频的泛滥,网上多模态内容的数量呈指数级增长,情感计算分析研究已经从传统的单模分析演变为更复杂的多模态分析。现有的情感分析大部分关注视频中图片的情感分类,忽视了图片帧序列的时空信息以及文本和音频信息。另一方面,现有的多核学习易忽略不具鉴别性的基本特征,不能充分利用不同模态的基特征。针对以上问题,本文进行了如下研究:1.本文提出了一种基于视觉信息的3DCLS(3D Conv-Long Short Term Memory)模型,通过三维卷积神经网络和卷积长短期记忆递归神经网络的级联组合来为视觉情感识别任务建立时空信息。对于视频中的文本信息,通过卷积神经网络和长短期记忆递归神经网络的级联组合进行文本情感分类。对于音频信息,利用openSMILE软件提取相应的特征,使用支持向量机对其情感进行分类预测。2.本文提出了一种基于间隔维度约束的多核学习(Margin Dimension Constrained Multiple Kernel Learning,MDMKL)模型,结合三种单模态的情感特征进行特征融合,实现情感预测。同时设计了一种多模态混合融合情感分析框架,对MDMKL特征融合后的结果与另一种模态使用加权和法则进行决策融合,利用特征和决策级融合对视觉、音频、文本进行异质性融合,得到最终的情感分析结果。本文对二分类MOUD和多分类IEMOCAP数据集进行实验,实验结果表明本文提出的3DCLS方法学到的深时空特征有效地模拟了视觉情感外观和运动信息。MDMKL能够有效地融合不同模态的情感特征并产生良好的识别结果。
其他文献
一个城市的适度人口规模既与经济发展水平密切相关,它是由所在地区的资源、环境等因素决定的。秦皇岛市是中国北方极度缺水的城市一,水资源构成了限制城市发展的短板因素。通
采用边界元法与罚函数优化方法相结合，研究了承受拉、压交变载荷的发动机连杆的形状优化．文章分别以连杆应力集中区各点应力幅值最小为目标，以结构重量不超过原结构重量为约束条
由于在兼并收购过程中对目标企业的估价要考虑协同作用、目标公司重组和管理层变动对价值的影响 ,所以目标企业估价的依据应该是V0 +△v×i,其中 ,V0 为不存在任何并购情况下
为了有效改造薄弱学校,积极推进基础教育均衡化,体现义务教育公平,上海市部分优质学校自2005年起尝试通过委托管理的办学模式来辐射自身的优质教育资源,促进薄弱学校的发展。
目的研究桥梁施工监控过程中预测标高的方法,并对现有的理论模型进行改进,提高预测精度,弥补现有预测模型的不足.方法将累积法计算通式结合到灰色理论模型的参数估计中进行改
本文从锻造工艺角度出发讲述了发动机连杆及连杆盖零件结构设计影响其锻造工艺性，而锻造工艺性又可能影响其零件使用性能，因此，发动机连杆及连杆盖零件结构设计必须考虑其锻造工
<正> 时下的住宅楼一般都有阴阳面,赶上住阴面的主儿,阳光对他很吝啬。在不久的将来,会旋转的住宅楼必将应运而生。这种楼房都有一个结实的旋转底盘,而建材的分量却很轻。这
为了提高汽车开关门声的声品质,通过主观与客观相结合的方法来评价车门声,分析了汽车车门声的产生机理,同时详细介绍了车门声的采集及分析过程。通过实际车门声与目标车门声
针对局部张拉预应力筋加固混凝土超静定梁内力 ,采用结构力学方法进行了计算分析 .首先讨论了不等跨连续梁在不同部位张拉预应力筋时的内力计算 ,得出了加固结构不同截面时超
在科学技术的发展推动下,互联网技术的应用已经深入很多行业,物流行业亦是如此。而事实也在证明,在"互联网+"背景下,传统的物流企业只有紧紧地结合这一大背景,抓住这一发展机