基于集成卷积神经网络的脑电情感识别
魏 琛， 陈兰岚， 张 傲
【摘 要】摘要：采用脑电情感数据集SEED进行情感识别研究，旨在利用深度学习中的卷积神经网络(CNN)自动提取脑电样本的抽象特征，省去人工选择特征与降维的过程。首先，采用小波包变换(WPT)对脑电信号进行6级分解并构成二维结构样本；然后，通过改变网络深度设计了6个深度不同的CNN模型；最后，通过投票法与加权平均法建立集成模型，提高了识别精度。实验结果表明，本文方法对3种情感类别的平均分类精度达到了93.12%，能够满足情感识别的研究需求。
【期刊名称】华东理工大学学报（自然科学版） 【年(卷),期】2024(045)004 【总页数】9
【关键词】脑电信号；情感识别；卷积神经网络；集成学习
基金项目： 国家自然科学基金（61201124）；中央高校基本科研业务费重点科研基地创新基金（222202417006）
引用本文： 魏 琛, 陈兰岚, 张 傲. 基于集成卷积神经网络的脑电情感识别[J]. 华东理工大学学报（自然科学版）, 2024, 45(4): 614-622.
Citation： WEI Chen, CHEN Lanlan, ZHANG Ao. Emotion Recognition of EEG Based on Ensemble Convolutional Neural Networks[J]. Journal of East China University of Science and Technology, 2024, 45(4): 614-622. 情感状态是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态[1]。情感识别是情感研究中的重要一环，是计算机科学、神
经科学、心理学和认知科学的交叉学科领域[2]。早期的研究主要利用人的面部表情和声音语调来识别情感状态，但是人们可以通过刻意控制声音和表情从而很容易伪装真实的情感状态[3]。之后，研究者利用脉搏、呼吸、体温等外周生理信号进行情感状态研究，但这些信号的实时差异小、变化速率慢，难以满足实时研究的需要[4]。脑电信号(Electroencephalogram,EEG)作为中枢神经生理信号，具有实时差异性和不可伪装性等优点，因而在近年来的情感识别研究中得到了越来越多的重视[5]。
目前已有越来越多的科研工作者从事情感识别的研究。Petrantonakis等[6]经过多次采集脑前额区脑电信号，提出了基于混合滤波和高阶过零分析的方法，在6种情感类别上的分类正确率达到了84.72%；Atkinson等[7]在Valence和Arousal两个维度上分别划分出2、3、5个情感类别进行情感识别研究；Verma等[8]融合脑电信号与其他生理信号，对13个情感类别进行识别研究，最佳正确率为81.45%。
深度学习(Deep Learning, DL)作为机器学习领域的一个重要分支，旨在建立一个模拟人脑学习的网络。与传统机器学习方法相比，深度学习省去了手工特征提取的环节，通过半监督或者无监督的方式自动提取，为数据的高级别抽象表示提供了可能[9]。如今，深度学习已经广泛应用于语音识别、图像识别、自然语言处理等领域。在情感识别方面，Jirayucharoensak等[10]应用堆叠自编码器(SAE)方法建立情感识别模型，并与支持向量机(SVM)、朴素贝叶斯(NB)等传统分类算法进行比较，验证了深度网络的优越性。
由于深度学习具有自动学习提取样本抽象特征的能力，避免了特征选择与降维的过程，因此本文采用深度学习中的卷积神经网络作为情感识别分类器。卷积
神经网络(Convolutional Neural Network, CNN)是有监督的深度学习模型，其使用空间上的相对关系，有效地减少了训练参数，提高了网络性能。由于网络深度对CNN的分类能力有着重要的影响，本文按照网络深度由浅至深的顺序设计了多个CNN模型，并通过集成学习(Ensemble Learning, EL)的方法建立集成CNN模型。对比其他特征提取与分类方法，集成CNN模型能够达到较好的识别效果。
1 情感识别模型
脑电信号因与人的情感状态有直接的联系，在情感识别研究中越来越受到关注。基于脑电信号的情感识别的一般步骤包括[11]：情感的诱发、脑电信号采集、信号预处理、脑电特征提取、特征选择和降维、情感模式学习分类。研究者通常采用快速傅里叶变换(FFT)[12]、小波变换(WT)[13]、主成分分析(PCA)[14]、K均值(K-means)、K最近邻(KNN)、支持向量机(SVM)等经典的特征提取、降维、聚类和分类算法对脑电特征进行识别研究。
本文以公开的脑电情感数据集SEED作为研究对象，整体设计框架如图1所示。首先采用小波包变换(Wavelet Packet Transform, WPT)从原始脑电信号中提取特征，形成可供分类器训练与测试的二维结构样本；然后，以卷积神经网络的深度为主线，由浅及深建立6个CNN模型作为情感识别分类器；最后，利用集成学习的优势，采用投票法与加权平均法，建立集成CNN分类器，提高情感识别精度。
2 脑电信号的获取与特征提取
2.1 SEED情感数据集及其预处理
脑电情感数据集SEED使用电影片段作为情感诱发素材，共分为3种情感类别：
基于集成卷积神经网络的脑电情感识别
