基于神经网络的脑电情绪识别与重构方法研究

• 作 者: 隆燕芳
• 出 处: 杭州电子科技大学
• 发表日期: 2004年期
• 关键词: 情绪识别 脑电信号 神经网络 GRU VAE 情绪重构

现有的人工智能系统基于强大的计算力与存储结构具备了较强的“逻辑智能”,但在“情感智能”方面表现欠缺。为了实现更高级且全面的智能,研究人员开始更加关注情感智能部分。其中,情绪识别是情感智能的重要组成部分。目前,情绪识别的方式有很多种,而源自中枢神经系统的脑电(Electroencephalogram,EEG)信号正在成为情感识别和探索大脑信息处理机制的重要手段。本文基于公开的DEAP情绪数据库和实验室自主采集的EMOT数据库,利用GRU(Gated Recurrent Units)循环神经网络和变分自编码器(Variational Auto-Encoder,VAE)模型进行情绪识别以及情绪重构研究,主要工作包括:(1)针对脑电数据是典型的非平稳的动态时间序列问题,本文提出了基于双向GRU循环神经网络的脑电情绪识别方法。GRU网络因其在时间方向上具有循环结构,能够学习脑电序列中重要的时间动态特征(Time Dynamic Feature,TDF)。为了充分利用脑电序列前后时刻的信息,提出了基于双向GRU(Bidirectional GRU,Bi GRU)结构的方法对脑电数据建模,在提高情绪分类准确率上具有重要意义。实验结果表明:1)基于普通单向GRU网络在EMOT数据库上取得了74.14%的七分类平均准确率,在DEAP数据库的Valence和Arousal上分别取得73.24%和74.67%的二分类准确率;2)基于双向的GRU网络能够弥补单向GRU在脑电序列上的信息损失,有效提高情绪识别的准确性。(2)针对GRU网络在特征抽取时会出现噪声和维度过高的问题,本文提出了基于GRU和VAE的混合网络的脑电情绪识别方法。该方法主要是利用VAE网络对TDF做特征提取和非线性降维,并把降维后的特征输入到SVM分类器进行情绪分类。实验结果表明基于GRU-VAE的混合网络能够去除与情感无关的特征并提高情绪识别的准确率,且比其他降维方法如LDA、KPCA和ISOMAP等更有效。(3)针对从大脑活动中解码并可视化情绪的问题,本文提出了基于条件VAE(Conditional Variational Auto-Encoder,CVAE)的脑电情绪重构方法,旨在从EEG中重现不同情绪下人脑中的画面。VAE能以无监督的形式拟合数据的分布,但要从EEG中重构出人脑的情绪内容,还需要对VAE进行条件化改进。本文针对情绪图像诱发的脑电,首先提取出功率谱特征并以此作为重构情绪的特定条件,与情绪图像共同输入到CVAE中建模。然后通过CVAE的编码器学习不同情绪图像在大脑活动中的条件化潜在表示。最后通过潜在空间采样,利用CVAE解码器生成相应的情绪图像。实验结果验证了脑电情绪的可重构性。通过在视频和图像诱发产生的脑电情绪数据库上测试表明,GRU和VAE能有效地应用于情绪识别任务。EEG的功率谱特征可以有效地反应大脑对情绪信息处理的线索。同时,在探索大脑活动解码问题的过程中发现,条件VAE是一种有效的大脑信息重构方法。