（论文加源码）基于DEAP脑电数据集的脑电情绪识别（利用生成对抗性网络进行特征提取和数据扩充）

情绪识别是脑机交互中一个具有挑战性的问题。脑电图（EEG）提供了关于由于情绪刺激而产生的大脑活动的独特信息。与情绪识别任务中的面部表情、语调或语音相比，这是大脑信号最显著的优势之一。然而，由于缺乏脑电数据和高维脑电记录，难以建立高精度的有效分类器。在本研究中，分别提出了数据扩充和特征提取技术来解决数据缺乏和数据高维的问题。在本研究中，所提出的方法基于深度生成模型和一种称为条件Wasserstein GAN（CWGAN）Conditional Wasserstein GAN的数据增强策略，将其应用于提取的特征以重新生成额外的EEG特征。DEAP数据集用于评估所提出方法的有效性。最后，实现了标准的支持向量机和具有不同曲调的深度神经网络，以建立有效的模型。实验结果表明，使用额外的增强数据可以提高基于EEG的情绪识别模型的性能。此外，数据增强后，效价和唤醒的平均分类准确度分别提高了6.5%和3.0%。

1.简介

近年来，使用机器学习和深度学习基于脑电信号的情绪识别在不同的研究领域变得非常有争议。与视觉或语音信号相比，响应情绪刺激生成的EEG数据是独特的，即使个人试图不显示自己的情绪，也无法隐藏。此外，神经科学家正试图找到不同情绪状态下的大脑活动模式，并确定这些模式在不同的人中是否常见。实验结果表明，有三种情绪的神经特征：积极、中性和消极[1]。特征工程作为模式识别的一种方式是另一个有争议的问题，在训练模型时应该仔细考虑。因此，如何从看似毫无意义和复杂的大脑电信号中提取有意义的大脑活动，是脑机接口面临的一大挑战[2]。已经提出了许多方法来提高许多方面的性能，包括预处理、特征提取、特征选择和分类[3，4]。

近年来，人们研究了许多基于脑电图的情绪识别方法。情感识别的主要关注点是特征提取和分类。分类器使用特征作为输入来识别情绪状态。特征提取有多种方法，如基于多种信号处理技术和统计学的传统特征工程方法，或可以通过神经网络直接提取的自动特征工程方法。为了提出一种有效的基于脑电的情绪分类方法，人们对传统特征工程和自动特征工程进行了大量研究。提取的特征被作为有效的标准机器学习模型的输入，如SVM[5-10]、KNN[10-12]等。最近，深度学习网络在特征提取和分类任务中显示出显著的能力，许多研究人员将不同的神经网络应用于EEG数据[13-16]以提高准确性。

与视觉和音频数据集相比，缺乏脑电训练数据集仍然是基于深度学习模型的基于脑电的情绪识别任务的主要挑战之一是基于EEG的情绪识别只有少数公共数据集：SEED、DEAP、DREAMER、MAHNOB-HCI3和MPED[14]。此外，这些数据集的规模远小于像ImageNet这样的图像数据集。如果机器学习模型能够访问更多的训练数据，那么它将更加准确。生成假脑电图数据是解决数据缺乏问题的常用解决方案。这种方法被称为增广。最近，各种不同的技术被用来生成更多的数据。例如，对原始数据应用几何修改通常用于图像数据增强。在脑电数据增强中，高斯噪声通常被添加到数据中以创建新的数据[13]，但最近提出了一种新的方法，通过使用深度生成神经网络生成脑电逼真数据[17]。[17]中首次提出了一种CWGAN网络来生成EEG特征的向量。然后，使用一种技术来检查生成的数据的质量，并且只有高质量的数据被添加到训练集中。最后，对SVM和DNN进行训练，对原始和扩充的训练数据进行二值分类。使用二维唤醒价模型从复杂和非平稳的EEG数据中识别情绪。实验结果表明，数据增强提高了分类器的准确性。

本文的其余部分组织如下：第2节概述了基于EEG的情绪识别的生成和数据增强方法的相关工作。在第3节中，详细讨论了所提出方法的实现。第4节描述了DEAP数据集，并介绍了我们实验设置的细节*第5节给出了实验结果以及所提出的方法与不同方法的比较。最后，在第6节中，我们介绍了我们工作的结论。

2.相关工作

由于脑电数据收集的高成本和挑战，大多数脑电公共数据集都很小，来自不同参与者的记录数据数量有限。这对用于预测和分类任务的机器学习模型的准确性有很大影响，并对EEG数据分类提出了巨大挑战。研究一种像真实数据一样生成脑电假数据的方法，是解决基于脑电的情绪识别任务中数据不足问题的一个有争议的问题。在本文中，将情绪识别模型与标准机器学习模型和深度神经网络在数据增强前后的性能进行了比较，以检查数据增强是否有效。实验结果表明，数据扩充方法在某些情况下有效地提高了模型的性能。

[13，18]中使用了通过向训练集添加高斯噪声来增强基于EEG的情绪识别的数据。[17]中首次提出了使用深度生成模型进行新的数据增强来生成EEG伪数据，结果表明准确性有所提高。DEAP、DREAMER三个数据集以及他们自己收集的一个数据集的组合，用于解决[19]中情绪识别任务中的数据不足问题。在过去的几年里，通过部署机器学习技术来分析EEG数据以进行情绪识别，已经进行了许多研究。SVM分类器被提出作为预测三种情绪状态的分类模型，EEG时频特征被用作实现分类器的输入数据[20]。在[21]中，作者使用KNN作为分类器，使用信号幅度作为输入特征来预测八种情绪状态。

LSTM网络用于从EEG数据中识别情绪，并将DEAP数据集的原始EEG信号作为输入特征提供给网络。特征提取由LSTM网络自动完成，并使用密集层进行分类*实现的网络对唤醒、效价和喜好的平均准确率分别为85.65%、85.45%和87.99%。与传统技术相比，所提出的方法达到了较高的平均精度[15]。提出了一种基于堆叠自动编码器（MESAE）的多层群体分类模型来识别情绪。在DEAP数据集[22]上，兴奋和价态参数的二元预测模型的平均准确率分别为77%、76%，F评分分别为69%和72%。[23]中提出了两种具有新架构的卷积神经网络，用于基于EEG信号的生物特征识别。提出了一种集成深度神经网络来探索脑电帧记录数据的通道和上下文信息之间的相关性。混合方法是CNN和RNN网络的组合[24]。已经提出了一种使用DEAP数据集从EEG信号中检测情绪的深度神经网络。本研究研究研究了两种类型的神经网络架构：CNN和DNN。在对预处理数据进行训练时，这两个模型在对用户情绪进行分类方面都非常有效[1]。GELM模型已被用于识别随时间推移的稳定模式，并评估情绪识别模型的稳定性。情绪模式的特征选择和分类在SEED和DEAP数据集中进行评估[25]。在情绪识别任务中，提出了一种CWGAN网络作为生成EEG数据的数据增强技术。基于SVM和DNN上的二维唤醒效价模型，DEAP数据集的平均分类准确率分别为48.9%和47.5%[17]。[19]中提出了三个数据集的组合，即DEAP、DREAMER和他们自己收集的专有数据集，以解决情绪识别任务中数据不足的问题。总数据集涉及60名参与者，这是与其他数据集相比数量最多的数据集。该方法对效价和唤醒的准确率分别为70.26%和72.42%。如上所述，基于脑电图的情绪识别研究从未停止过。尽管已经开发了许多深度学习方法来从EEG信号中识别情绪，但提出一种合适的方法仍处于初级阶段。由于脑电数据收集的局限性，可用于基于脑电的情绪识别的深度学习技术的标记脑电样本是一个重大挑战，提出解决方案仍然是一个问题。

3.DEAP数据集

数据集包括在用户对外部刺激的响应期间记录的脑电波和生理信号。DEAP是观看音乐视频时大脑、环境和面部信号的集合[26]。在这个数据集中，选择了40个音乐视频，以尽可能地唤起人们的情绪。实验的参与者人数为32人。已经记录了来自40个通道的数据，其中包括32个EEG通道和8个生理通道。每个音乐视频的周期为63秒，其中包括观看每个音乐视频3秒的准备周期和观看1分钟的准备周期。在观看了每个音乐视频后，参与者对每个音乐视频的Valence、Arousal、Dominance和Liking评分从0到9。每个人给出的分数被认为是每个人的标准标准。参与者对每个视频的评估基于二维唤醒效价模型，如图1所示[27]。

唤醒：表示人们感情的强烈程度。数值越高，感觉越强烈，数值越低，感觉越弱。其范围从平静到兴奋[28]。

Valence：表示人们对感情的愉悦程度。它越高，这个人感觉越积极和快乐，它越低，这个人感到越消极和悲伤。其范围从令人不快到令人愉快[28]。

表1中详细给出了数据集描述。在32个参与者文件中，63秒内记录的数据长度为8064个样本，以128Hz的频率采样。在32个文件中的每一个文件中，都有40个试验的40个不同通道记录的生理和脑电图信号[27]。

4.实验细节

传统的特征工程是分析脑电信号的最古老的解决方案之一。根据问题的类型，已经识别并提取了描述信号的特定模式的特征。描述大脑信号中任何模式的特征识别本身就是数据分析的一个复杂分支。根据之前的研究及其结果[22]，已经选择并提取了用于识别情绪的适当特征。特征提取降低了记录的EEG数据的维数。在特征提取后，提出了一种数据增强方法，从真实的EEG数据中生成更多的数据，以扩展数据集，克服数据不足导致分类模型过拟合和预测错误的问题。基于传统特征工程的情感识别的一般过程如图2所示。最后，使用SVM和DNN作为分类器来验证增强数据对提取特征的结果。

图2：提出的模型流程图

4.1数据准备。

情绪本身是一个复杂的问题，与许多未知的事情有关。尽管从脑电图信号中识别情绪是一个有趣的问题，但通过分析大脑活动很难弄清楚人类大脑中到底发生了什么。电脑可能会在人们的大脑中对相同的情绪刺激产生不同的模式。令人困惑的脑电图数据集如图3所示.

图3：DEAP数据集的树状表示

4.1.1数据准备。

如图3中的树状图所示，记录的数据很大且令人困惑。解决问题之前的第一步是明确问题的定义。关键是要弄清楚到底要解决什么问题。乍一看，第一个问题是，我们是要在不同的实验中检查和分析一个人的情绪，还是要在不同人之间识别情绪。重要的是要考虑到，不同的人对相同刺激的反应可能会在大脑中产生不同的情绪模式，很难在他们之间找到共同的模式。在本文中，研究了不同人群之间的情绪识别，并记录了40个实验中所有参与者的数据，共有1280个样本。在进行任何探索之前，第一个经过预处理和重新排列的数据集如图4所示。

数据的维度仍然很高，需要很长时间来探索和分析。此外，此维度数据的内存使用率太高。因此，在重新排列数据之后，是时候通过进行一些特征工程来降低数据的维度了。

4.1.2特征提取。

通常，从EEG信号中提取特征是信号处理中最重要的问题之一。从信号中提取的特征描述了信号的行为，每个特征都给出了有关数据的特殊信息。因此，提取能够准确描述信号行为的特征可以提高机器学习模型的学习能力。如果从信号中提取的特征可以很容易地划分为不同的类别，并且它们之间的边界更清晰，那么机器学习模型将能够更好地学习。特征提取的主要目的是提取隐藏在海量数据中的更重要的信息。此外，特征提取过程还通过减少数据处理量，显著减少了数据分析和处理高维数据所需的资源。在数据分析和深度神经网络研究中，时间复杂性和资源使用是一个有争议的问题。最近，已经提出了从EEG信号中提取特征的不同技术。因此，给模型什么作为输入是很重要的。本文从脑电信号中提取了许多特征，作为机器学习模型的输入。所提取的特征[22]如表2所示。

所有特征都是在python库的帮助下提取的，提取的特征并置在一个2d阵列中，准备提供给机器学习模型。提取的特征描述了大脑信号如何因不同的情绪状态而变化。相应地解释每个提取的特征的含义：

（i）平均PSD：回答“一个信号的功率有多少在一个频带内？”的问题。

（ii）过零率（ZCR）：它是信号从正变为负的次数，反之亦然。

（iii）平均值：该值表示数据分布的平均值。

（iv）方差：它显示了数据是如何从数据的平均值中分布出来的。

表3中解释了每个频率的描述以及在不同频带中发生的情况。

图5-9和图10显示了单通道6（s）的脑电图记录数据和不同频带的脑电图数据，如θ、SlowAlpha、Alpha、Beta和Gamma。

图11-14和图15分别显示了每个32个脑电图通道的平均PSD，单位为*eta、Low Alpha、Alpha、Beta和Gamma。

图16-18和19分别显示了左右头皮之间14个脑电通道对的θ、Alpha、Beta和Gamma波段的平均PSD差异。

图20、21和22显示了60个中32个脑电通道的平均值、方差和过零率。

4.1.3分类器输入的数据安排。

在特征提取之后，提取的特征应该以适当的格式排列，以便用作分类器的输入数据。

（1）特征矩阵。脑电图特征矩阵如图23所示。各行代表40个实验中32名参与者的总数（1280:32×40）。列表示从EEG信号中提取的特征（344）。

（2）标签矩阵。根据参与者的评分值，0–9之间的标签值被记录为连续值。已经选择数字5作为用于标记上类和下类的阈值。因此，5分以上的分数被视为1，这意味着高，小于或等于5分的分数被认为是0，这意味意味着低。因此，根据表4，标签被分为两个独立的类别，0（低）和1（高）。

（3）训练和测试数据的拆分。为了训练所提出的模型并测试它是否正常工作，整个可用数据集必须分为两部分：训练集和测试集。训练组和测试组的数量分别为1152个和128个。

4.2.数据扩充。

数据扩充是通过转换训练数据来生成新样本的过程，以提高分类器的准确性和稳健性[29]。不断增加数据以提高模型性能的方法不仅不能提高模型的学习能力，还会使结果恶化，降低模型的预测能力。必须根据数据财产选择适当的数据增强方法。以前在图像处理中使用了两种常见的数据增强方法：几何变换和噪声添加。几何变换，如移位、缩放、旋转/反射等，不是增强EEG数据的好选择，因为它是非平稳信号，并且随时间变化。在时域或频域中提取的特征仍然是时间序列，因此这些时间序列的旋转或移位会破坏特征，因此这不是一种适合这类数据的技术。与几何变换相比，添加噪声是一种更好的选择，但不是增强EEG数据的最佳方法。有各种噪声可以添加到数据中，如高斯、泊松、Salt、Pepper等，但由于EEG数据是非平稳的，我们不能将任何类型的这些噪声添加到数据，因为它可能会局部改变EEG数据的特征。基于先前的研究，用于脑电数据增强的最常用的噪声是高斯噪声，它被添加到脑电时间序列的每个特征中，以从原始数据创建新数据[18]。在我们的工作中，我们考虑使用GANs作为一种非常新的EEG数据增强方法来生成新的数据

4.3.GANs。

由于数据收集的成本，大多数脑电图数据集都有少量的脑电图数据。由于缺乏数据，使用需要足够训练数据的深度学习模型很难预测情绪状态。在本研究中，数据增强方法被用于解决情绪识别任务中数据不足的问题。实验结果表明，更多的数据可以有效提高基于深度学习模型的情绪识别性能。最近对生成对抗性网络（GAN）和变分自动编码器（VAE）等生成模型的研究表明，它们可以生成像真实数据一样的新数据。证据还表明，生成模型生成的人工数据可以用来增加数据，提高分类器的准确性，并通过提高可推广性来防止过度拟合[17]。图24显示了GAN的工作原理。一般来说，GAN由两个主要组件组成，包括试图击败对方的生成器和鉴别器。生成器网络的输入是随机噪声，鉴别器得到两个输入；生成虚假数据和真实数据。它应该将生成的数据与真实数据进行比较，以识别它是假的还是真的。生成器和鉴别器的目的是欺骗对方。生成器试图产生高质量的数据，就像欺骗鉴别器的真实数据一样。鉴别器试图检测假数据。这个过程一直持续到生成器生成鉴别器无法识别是假的还是真的数据，并将生成的数据视为真实数据。GANs无法生成标记数据。

4.4.CWGAN。

在[17]中，CWGAN网络被提出作为一种新的数据增强技术，用于生成EEG数据，而无需对其质量进行任何判断。在这项工作中，所提出的CWGAN不仅产生了EEG特征，而且还考虑了产生的数据的质量。因此，CWGAN被用于生成先前已经提取的特征。此外，在生成数据以生成标记数据时还考虑了一个补充条件。然后，对生成的数据的质量进行评估，并将高质量的数据添加到训练集中。所提出的CWGAN由两个网络组成：一个生成器和一个鉴别器。这两个网络协同工作以生成逼真的EEG特征。他们不断地试图打败对方。生成器获得高斯噪声和标签作为输入，鉴别器获得两对标记的生成数据和真实数据。生成器试图生成具有相同真实数据分布的伪数据以欺骗鉴别器，并且鉴别器试图区分给定数据是真的还是假的。如果生成器可以欺骗鉴别器，则所提出的CWGAN工作良好。CWGAN的体系结构如图23所示。GAN和CWGAN之间的主要区别在于CWGAN产生标记的数据。

4.4.1 Generator。

如图25所示，生成器被设计为一个简单的深度神经网络，它获取噪声和标签作为输入，并从给定的噪声中产生假数据。最初，生成的数据质量是足够的。在生成器训练过程中经过几个时期后，生成器学会生成高质量的数据来欺骗鉴别器。那么学习阶段就完成了。

4.4.2.Discriminator。

它被设计成一个简单的深度神经网络，获得两对作为输入，由生成器生成的标记伪数据和标记真实数据。鉴别器必须区分两对给定数据是否具有相同的分布。如果它发现给定数据的分布是相同的，则表明生成器通过生成高质量的数据成功地欺骗了鉴别器，并且训练阶段已经完成。鉴别器网络如图26所示。

在准备好训练数据之后，准备将训练集作为所提出的CWGAN的输入，以生成更多的伪数据。因此，在对准备好的训练集进行一些预处理和归一化之后，将其提供给网络。然后，通过设置CWGAN的超参数，它就可以生成假数据了。通过比较真实数据和生成数据的分布图以及通过损失函数来确定生成数据的质量。训练步骤的数量被设置为500，并且在500个步骤之后生成的数据具有高质量。生成器和鉴别器的超参数，即Epoch数、批量大小和学习率，分别为10、32和0.0002。

4.4.3生成数据的评估质量。

对研究人员来说，评估生成的高维脑电图数据是一项挑战。使用CWGAN网络生成EEG数据的主要挑战之一是无法容易地识别生成数据的质量。通过视觉观察和比较可以很容易地评估图像数据，但必须寻求另一种解决方案来评估生成的EEG数据与真实EEG数据的相似性。最常见的比较方法之一是将生成的数据的分布与原始数据进行比较。另一种技术是在训练阶段观察发生器和鉴别器的损失函数图的变化。

图27描述了训练过程中鉴别器和生成器的损失函数的变化过程。它显示了CWGAN训练阶段的过程和生成的数据的质量。最初，生成器开始从作为输入的噪声中生成随机数据。如图27所示，生成器的损耗很高，鉴别器的损耗很低，这意味着生成器无法生成高质量的数据并欺骗鉴别器。鉴别器的低损失值意味着它可以区分给定的数据是假的。高质量数据生成的最佳点是低生成器损耗和高鉴别器损耗。当图表收敛到这一点，并且损失值的变化变得稳定时，训练阶段就完成了，生成的数据似乎具有高质量。此外，必须对生成数据和实际数据的分布进行比较。如果它们足够相似，这意味着CWGAN能够生成高质量的数据。数据的分布如图28所示，其中Z1和Z2是PCA提取的特征值最大的特征值。

由于脑电数据的高维性，比较其分布图非常困难。因此，主成分分析被应用于生成的和真实的特征，以降低数据的维数，从而更好地进行可视化和比较。如图28所示，经过500个训练步骤后，CWGAN生成的数据及其在二维空间中的散射分布与真实数据相似。当生成的数据的散点图与原始数据相等并且在接下来的步骤中几乎没有变化时，可以停止训练。对于图像数据，可以通过观察生成的数据并将其与原始数据进行比较来容易地确定其质量。该网络的输出最终是一个CSV文件，该文件存储一组生成的特征和一个包含生成的标签的文件，这些标签也被格式化为CSV文件。

4.4.4.将生成的数据添加到训练集。

在下一步中，生成的数据被附加到训练集。已经生成了各种数量的数据并将其添加到训练集中，但只有其中一些数据能够改进分类结果。

4.5.分类。

对于数据分类，支持向量机和深度神经网络已被应用于训练各种大小的增强数据，结果表明，在某些情况下，分类精度有所提高。与我们预期的增加数据可以提高分类准确性相反，在某些情况下，增加数据不仅没有提高准确性，反而降低了准确性。

为了实现稳定高效的深度神经网络，已经测试了不同数量的层和神经元，以达到高质量的设计。最后，这个体系结构产生了最好的结果。第一层是输入层，包含512个神经元，隐藏层分别有256个和128个神经元。在最后一个隐藏层之后，放置一个丢弃层以防止过度拟合。最后一层由具有S形激活函数的用于二元预测的神经元组成，中间层具有Relu激活函数。

该网络体系结构简单且易于实现。低内存消耗和执行时间是本研究中考虑的问题。支持向量机是最强大的机器学习算法之一，具有实现简单、训练速度快、可预测性强和稳定性强的特点。测试了不同的内核，得出的结论是，在这种情况下，线性内核是最好的。

5.结果

对于适当的训练阶段，已经测试了不同数量的增强数据和网络设计。实验结果列于表5和表6中。

如表5和表6所示，神经网络模型中的数据扩充比标准机器学习模型更有效。数据增强提高了SVM和DNN分类器的预测精度。很明显，通过将数据加倍，SVM的准确率提高了3.9%，但DNN根本没有提高。原因是显而易见的；深度神经网络模型比传统的机器学习模型需要更多的数据。一方面，通过在原始数据集中添加太多数据，SVM的准确性不仅没有提高，反而变得更差。另一方面，添加过多的数据显著提高了DNN的预测精度。DNN的预测准确率提高了6.7%，这是令人惊讶的。总之，数据增强任务，特别是在脑电数据中，是复杂的，因此需要考虑许多问题。在这个实验中，生成了大量数据并将其添加到原始数据集，但并非所有数据都能有效地产生预期的结果。这意味着更多的数据并不能肯定地提高准确性。在这项任务中，更重要的关注点是分类器准确性的可靠性。表7和表8显示了所提出的方法与先前工作的比较。

6.结论

在这项研究中，两个挑战是从脑电图信号中识别情绪的首要任务。第一个问题是脑电信号的高维问题，第二个问题缺乏脑电数据。为了解决这些问题，分别提出了利用生成对抗性网络进行特征提取和数据扩充。与SVM分类器相比，所实现的方法在DNN上具有更好的准确性，这意味着数据的缺乏对神经网络模型比传统的机器学习模型更重要。提取和生成的特征的分布表明，特征非常杂乱，不同类别的特征之间没有明确的边界。这导致分类精度低，并且在SVM中比在DNN中更明显。

7.未来工作

在本文中，最重要的任务是脑电图数据的生成和特征提取。实验结果表明，提取的特征在分类器预测和学习阶段起着关键作用。如果提取的特征有可能清楚地描述不同类别的信号模式，那么分类器的预测能力就会增强，模型也会更准确地工作。因此，在未来的工作中，特征提取技术被认为是我们研究标准的重点。导致错误预测的下一个问题是重新标记数据。目标的二进制编码是模型预测错误和精度低的原因之一。例如，在目标编码中，5.1被认为是1，4.9被认为是0。这两个标签彼此非常接近，似乎具有相同的模式，但它们被考虑在两类不同的预测中，并且模型在预测中很容易变得混乱，并且错误预测率增加。