论文部分内容阅读
情感是生物个体内在的生物化学系统和外部环境相互作用而产生的一种复杂生理和心理学现象,它能够反映生物个体的心智状态。情感渗透进了人类生活的方方面面,相关的研究及应用也跨越了多个领域。随着机器学习、深度学习以及情感研究的不断发展,基于脑电信号的情感识别已逐渐成为各个领域的研究热点。如何提取有效的脑电特征、如何构建更有效的模型是提高脑电信号情感识别准确率的关键,也是当今脑电情感识别研究的主要问题。本文主要以大规模DEAP数据集中的脑电信号作为研究对象,构建了传统机器学习模型、深度神经网络模型以及混合深度神经网络模型对脑电信号在效价和唤醒度两个维度上进行情感识别的研究:(1)研究基于传统机器学习模型的脑电信号情感识别的分类性能。首先,提取DEAP数据中脑电信号的时域和频域特征,并对时域特征和频域特征进行组合,共得到脑电信号的五种基本特征。然后,将脑电信号的特征作为支持向量机分类器、集成决策树分类器、线性分类器以及贝叶斯线性分类器的输入。最后,在效价和唤醒度上,对脑电信号进行二类情感识别。实验结果表明,在特征方面,各分类器在时频域组合特征上的识别性能最佳;在模型方面,集成决策树为最佳分类器,其在效价和唤醒度上五种特征下的平均分类精度分别达到了 79.71%和78.28%。(2)研究基于深度神经网络模型的脑电信号情感识别的分类性能。在深度神经网络模型的构建中,通过对模型参数进行不断调优选择了 3种CNN模型和1种双层LSTM模型对DEAP数据集中脑电信号的五种特征进行高/低效价和高/低唤醒度的情感分类实验。三种CNN模型采用不同尺度的卷积核,学习脑电信号时间与空间的局部相关性。双层LSTM模型通过学习,捕获脑电信号时序上的相关性。对比传统浅层分类器的实验结果表明,深度神经网络模型能够自动学习并提取脑电信号中更深层的时空相关性特征,进而提高脑电信号情感识别的准确率。其中具有5×5卷积核的CNN模型识别性能最佳,效价和唤醒度上五种特征的平均识别精度,比传统分类器中识别性能最好的集成决策树分类器,分别提高4.31%和3.77%;双层LSTM模型在效价和唤醒度上五种特征的平均识别精度比集成决策树分类器分别提高5.6%和3.37%。(3)研究基于混合深度神经网络模型的脑电信号情感识别的分类性能。分别构建了 CNN模型和LSTM模型的级联和并联模型。级联模型中,首先将脑电信号的不同特征输入到CNN模型提取脑电信号的空间相关性特征;然后将CNN模型全连接层的输出作为LSTM模型的输入,在空间特征的基础上接着提取脑电信号的时序相关性特征;最后通过分类层分别输出效价和唤醒度上的预测性能。实验结果表明,级联模型的识别性能优于单独的CNN模型和LSTM模型,并且在时频域组合特征上的识别精度最高,效价上平均分类准确率达到99.64%,唤醒度上平均分类准确率达到85.88%。并联模型中,CNN模型和LSTM模型则同步分别提取脑电信号的空间和时序特征,然后将CNN模型和LSTM模型全连接层的输出进行连接,构成高层空间-时间组合特征,最后将其输入到分类层进行情感分类。实验结果表明,并联模型在时频域组合特征上的识别性能最佳,效价和唤醒度上的平均识别准确率分别达到了 88.76%和87.14%,高于单独的CNN模型和LSTM模型。结合两种混合深度模型的实验结果可知,混合深度模型通过联合学习脑电信号更深层的时间、空间相关性特征,能够有效提高情感识别的准确率和稳定性。综上所述,本文提出的深度神经网络模型和混合深度神经网络模型能够学习脑电信号更深层的特征,进而提高EEG信号情感识别的准确率。所以本文的研究方法具有很好的理论和现实意义。