社会化视频主题检测及细粒度情感分析算法研究与实现

• 作 者: 王瑞东
• 出 处: 北京邮电大学
• 发表日期: 2019年01期
• 关键词: 概率图模型 视频情节主题检测 多模态情感分析

随着社会化视频的普及,许多新的视频研究方法被相继提出。弹幕数据是近年来较为流行的社会化视频的产物,其与视频时间同步的属性相较于传统的评论数据具备更精确的时间信息。本文以弹幕文本和视频图像为出发点,首先提取视频情节主题,然后结合两种模态数据进行视频情感分析。本文的研究内容包括两方面。首先提出了基于概率图模型的视频情节主题检测算法,目的在于能够自动对视频情节主题进行检测,提取出每个情节的主题内容。视频情节主题检测算法以弹幕文本作为输入,得到视频情节的主题信息,同时对切分好的情节输出文本主题内容。在视频情节主题检测的基础之上,进行情节粒度下多模态的视频情感分析。相较于对整部视频的粗粒度情感分析,本文所提出的模型能够针对每个情节给出情感极性分析结果。利用弹幕的文本模态以及时间片的图像模态对影视剧进行多模态的视频情感分析,以解决单模态下情感分析不准确的问题。情节主题检测算法与多模态情感分析相结合,构成本文所研究的主要内容。本文主要分析的视频为影视剧,根据不同类型的视频进行了模型算法的验证。实验结果表明,基于改进概率图模型的视频情节主题检测算法能够对一部视频进行合理的切分,同时对切分后的时间片给出主题内容文本。此外实验也分析了情节粒度下的多模态情感分析算法,相较于单模态的情感分析算法,本文所提出的多模态情感分析算法结合了弹幕文本与视频人脸图像,能够更准确的对视频片段的情感进行分类。