论文部分内容阅读
情绪是人类对外界事物感知的反馈，反映了人际交往及决策过程等日常活动中的认知行为与状态。通过研究情绪识别的关键技术方法，能够有助于诸多人机交互系统的发展与应用，如社交机器人、医学治疗、驾驶员疲劳监视等，因此情绪识别已成为人工智能领域的一个重要研究方向。
当前，情绪识别研究主要分为两个方向：基于人脸图像的情绪识别和基于EEG(Electroencephalogram)信号的情绪识别。由于人脸姿势、遮挡及光照不平衡等客观因素的影响，基于人脸图像的情绪识别存在识别精度低的问题。相较于人脸图像，EEG信号更加有助于识别真实的情绪状态，然而EEG信号融合时域、频域及空间域等维度信息于一体，现阶段基于EEG信号的情绪识别需要结合信号变化特性进行真实情绪状态的识别。
本文结合深度神经网络技术，对上述两类情绪识别中的痛点问题进行了以下两个方面的研究工作：(1)提出了基于人脸区域分割的情绪识别框架。针对自然真实环境下人脸图像存在的人脸姿势不平衡及遮挡等问题，基于Unet网络提出FsNet分割网络分割出对情绪识别最有利的人脸区域，与TcNet分类网络相结合构建情绪识别实时框架；(2)提出EEG信号矩阵映射数据预处理方式，通过滑动时间窗获取固定时长的EEG信号对原始数据进行扩充，并采用ConvLSTM结构构建EERNet网络，充分融合EEG信号的时域、频域及空间域等特征提高整体识别精度。同时利用离散小波变换对EEG信号进行分解，得到Alpha，Beta，Gamma，Theta四个不同频段的信号数据，通过对不同脑部区域的划分，研究不同频段及不同脑部区域的EEG信号对情绪识别的影响。
本文的研究结果如下：(1)所提出的基于人脸区域分割的情绪识别方法，实现了高效精确的情绪识别效果，并证实了人脸区域分割方式可以减少外在环境因素对情绪识别的影响，提升了情绪分类的准确度。与现有的方法相比，在保证识别精度的同时提升了识别效率；(2)所提出的基于EEG信号的情绪识别方法充分融合了EEG信号中的时域、频域及空间域特征，证实了采用深度神经网络进行EEG信号情绪识别的可行性。并通过对比不同频率范围，不同脑部区域的EEG信号的识别效果，说明不同波段、不同脑部区域对情绪识别的影响。
当前，情绪识别研究主要分为两个方向：基于人脸图像的情绪识别和基于EEG(Electroencephalogram)信号的情绪识别。由于人脸姿势、遮挡及光照不平衡等客观因素的影响，基于人脸图像的情绪识别存在识别精度低的问题。相较于人脸图像，EEG信号更加有助于识别真实的情绪状态，然而EEG信号融合时域、频域及空间域等维度信息于一体，现阶段基于EEG信号的情绪识别需要结合信号变化特性进行真实情绪状态的识别。
本文结合深度神经网络技术，对上述两类情绪识别中的痛点问题进行了以下两个方面的研究工作：(1)提出了基于人脸区域分割的情绪识别框架。针对自然真实环境下人脸图像存在的人脸姿势不平衡及遮挡等问题，基于Unet网络提出FsNet分割网络分割出对情绪识别最有利的人脸区域，与TcNet分类网络相结合构建情绪识别实时框架；(2)提出EEG信号矩阵映射数据预处理方式，通过滑动时间窗获取固定时长的EEG信号对原始数据进行扩充，并采用ConvLSTM结构构建EERNet网络，充分融合EEG信号的时域、频域及空间域等特征提高整体识别精度。同时利用离散小波变换对EEG信号进行分解，得到Alpha，Beta，Gamma，Theta四个不同频段的信号数据，通过对不同脑部区域的划分，研究不同频段及不同脑部区域的EEG信号对情绪识别的影响。
本文的研究结果如下：(1)所提出的基于人脸区域分割的情绪识别方法，实现了高效精确的情绪识别效果，并证实了人脸区域分割方式可以减少外在环境因素对情绪识别的影响，提升了情绪分类的准确度。与现有的方法相比，在保证识别精度的同时提升了识别效率；(2)所提出的基于EEG信号的情绪识别方法充分融合了EEG信号中的时域、频域及空间域特征，证实了采用深度神经网络进行EEG信号情绪识别的可行性。并通过对比不同频率范围，不同脑部区域的EEG信号的识别效果，说明不同波段、不同脑部区域对情绪识别的影响。