résumé
Cet article propose une base de données d'émotions fNIRS-EEG-FEAD qui peut être utilisée pour former des modèles de reconnaissance des émotions. L'étude a enregistré un total de l'activité électrique cérébrale et des réponses hémodynamiques cérébrales de 37 sujets, ainsi que la classification des sujets et les évaluations dimensionnelles de 24 types de stimuli audiovisuels émotionnels. La relation entre les signaux neurophysiologiques et les évaluations subjectives a été explorée et des corrélations significatives ont été trouvées dans la région du cortex préfrontal. La base de données sera rendue publique et vise à encourager les chercheurs à développer des algorithmes plus avancés de calcul affectif et de reconnaissance des émotions.
introduction
L’émotion est une réaction intense et de courte durée du système nerveux à un certain stimulus. De nombreuses études ont montré que les structures neuronales corticales cérébrales et sous-corticales sont impliquées dans la régulation et le traitement des émotions. Étant donné que le système nerveux joue un rôle important dans le contrôle, la réponse et la régulation des processus psychologiques, comprendre sa fonction peut nous aider à identifier des indicateurs efficaces d’émotion. Nos récepteurs sensoriels détectent les changements dans l'environnement interne et externe et transmettent ces changements aux parties concernées du système nerveux du cerveau par le biais de potentiels d'action (signaux). Les sentiments, les pensées et les décisions sont le résultat de la synthèse de ces entrées sensorielles. Le système nerveux permet alors aux personnes de réagir consciemment ou inconsciemment aux changements de leur environnement en envoyant des signaux à différents organes comme les muscles et les glandes. Cela donne lieu à trois voies principales pour mesurer les émotions : 1) mesurer les biomarqueurs en collectant des signaux physiologiques (tels que la fréquence respiratoire, le rythme cardiaque ou l'activité électrique neuronale) ; 2) surveiller les manifestations externes (telles que les expressions macro/micro faciales ou le langage corporel) ; ;3) Évaluation subjective (telle que les mesures d'auto-évaluation).
La sélection du ou des indicateurs d'émotion qui représentent le mieux l'état émotionnel d'un individu nécessite de prendre en compte la complexité des émotions humaines. Bien que les indicateurs externes soient faciles à observer et à obtenir, divers facteurs, notamment les obligations sociales et les habitudes personnelles, font qu’il est difficile pour les observateurs extérieurs de comprendre les émotions associées à ces indicateurs. D’un autre côté, les signaux physiologiques peuvent être difficiles à interpréter en raison de facteurs tels qu’un faible rapport signal/bruit, des mécanismes psychophysiologiques individuels, le sexe et des caractéristiques psychologiques et physiques. Cependant, les biomarqueurs sont moins sensibles aux indicateurs externes et difficiles à cacher ou à dissimuler. En outre, les progrès technologiques de ces dernières années ont rendu la collecte de données facile et peu coûteuse, permettant d’utiliser de manière fiable les signaux physiologiques pour détecter les émotions humaines.
Lorsqu’il s’agit de cartographier les émotions humaines sur des états affectifs sémantiques, il existe deux cadres largement acceptés : la théorie des émotions discrètes et la théorie des émotions dimensionnelles. La théorie des émotions discrètes postule qu’il existe un ensemble central d’émotions identifiables d’une culture à l’autre chez les humains. Les six émotions fondamentales d'Ekman, dont la colère, le dégoût, la peur, le bonheur, la tristesse et la surprise, constituent un modèle populaire dans la théorie des émotions discrètes. Chaque état émotionnel est unique et universel, avec des caractéristiques spécifiques qui lui permettent de définir et de décrire clairement un large éventail d'émotions. Cependant, étant donné la complexité des émotions humaines et les différents points de vue sur les composantes émotionnelles de base, d’autres chercheurs ont proposé des méthodes permettant de cartographier les états affectifs sur des axes multidimensionnels, ce qu’on appelle la théorie des émotions dimensionnelles. Il existe plusieurs modèles différents de cette théorie. Par exemple, le modèle tridimensionnel PAD utilise le plaisir, l'excitation et la domination pour décrire les émotions humaines, où le plaisir représente le degré de bonheur ou de plaisir, l'excitation représente le niveau de vigilance et la domination représente le sentiment d'influence sur l'environnement. Un autre modèle dimensionnel populaire est le modèle circumplex, qui tente de cartographier les émotions sur deux axes : le plaisir et l'excitation. La roue des émotions proposée par Plutchik (2003) combine théorie des catégories et théorie dimensionnelle. Il organise les quatre émotions primaires opposées – le bonheur, la peur, la tristesse et la colère – en cercles concentriques. Ici, cet article utilise le modèle dimensionnel PAD et les quatre catégories d'émotions de la roue des émotions de Plutchik pour établir la valeur de vérité fondamentale.
Ces dernières années, de nombreuses bases de données de référence sur les émotions ont été publiées et utilisent des indicateurs d'émotion uniques (unimodaux) ou multiples (multimodaux) et une ou plusieurs théories des émotions. Par exemple, la Berlin Emotion Speech Database (Emo-DB) enregistre 535 phrases prononcées par 10 acteurs (cinq hommes et cinq femmes) dans le but de cartographier leurs émotions selon six catégories d'émotions (heureux, colère, anxieux, peur, ennui et dégoût). ). Les ensembles de données Spontaneous Microexpressions (SMIC) et Spontaneous Microfacial Movements (SAMM) sont également des bases de données monomodales dans lesquelles les expressions faciales des participants sont enregistrées et leurs émotions sont converties en émotions catégorielles. De même, l'ensemble de données SEED utilise les signaux physiologiques (EEG) de 15 participants pour classer leurs émotions. Cependant, la complexité des états psychologiques humains, des caractéristiques subjectives de la conscience et de l’inconscient, ainsi que la nécessité d’une compréhension globale des émotions humaines ont incité les chercheurs à mener des recherches sur la reconnaissance multimodale des émotions. L'ensemble de données AMIGOS collecte trois signaux physiologiques et des informations d'enregistrement vidéo des visages et des corps de 40 individus pour identifier leurs changements émotionnels subtils. DEAP, MAHNOB-HCI, RECOLA, DREAMER et DECAF sont également des bases de données multimodales qui enregistrent les mouvements oculaires, les vidéos faciales, la parole et les signaux physiologiques des participants (EEG, électromyographie (EMG), électrocardiogramme (ECG), activité électrodermique (EDA)). .
Étant donné que le cerveau joue un rôle central dans le traitement et la génération des réponses émotionnelles, la mesure de l’activité neuronale peut fournir des informations précieuses sur ce processus et nous aider à mieux comprendre comment les émotions sont exprimées. Les technologies telles que l’EEG et le fNIRS sont relativement peu coûteuses et excellentes pour collecter des informations dynamiques sur le cerveau. Certaines premières études ont mis en évidence la complémentarité de ces techniques dans des contextes hybrides, notamment dans le contexte de recherches sur les émotions mesurant le couplage neurovasculaire (la relation entre le flux sanguin cérébral et l'activité neuronale). Bien qu'il existe des bases de données fNIRS-EEG accessibles au public axées sur l'imagerie motrice, la charge mentale et l'analyse des artefacts de mouvement, à notre connaissance, il n'existe actuellement qu'une seule base de données fNIRS-EEG accessible au public axée sur la reconnaissance des émotions. Cet ensemble de données contient les enregistrements de seulement cinq participants. Par conséquent, il manque actuellement une base de données complète et à grande échelle sur les émotions contenant les signaux fNIRS et EEG pour la recherche sur les émotions.
Ici, cette étude a créé la base de données sur les émotions fNIRS-EEG (FEAD), qui a enregistré simultanément les signaux EEG et fNIRS de 37 participants alors qu'ils répondaient à 24 signaux émotionnels (stimuli audiovisuels). Cette mesure bimodale a ensuite été cartographiée dans un modèle d'émotion dimensionnel, en utilisant l'échelle d'auto-évaluation de l'humeur (SAM) pour les auto-évaluations subjectives couvrant la valence, l'excitation et la dominance, ainsi que les quatre catégories distinctes de bonheur, de colère, de peur, et de la tristesse. En outre, la base de données FEAD contient les réponses des participants sur la familiarité avec la vidéo, les informations démographiques et l'échelle d'affectivité positive et négative (PANAS), qui fournit des informations sur les états émotionnels des participants avant l'expérience. Cette étude examine cette configuration hybride en tant que système de mesure des biomarqueurs émotionnels et démontre les résultats préliminaires de la classification dimensionnelle des émotions du fNIRS et de l'EEG en tant que systèmes unimodaux et bimodaux.
Procédures expérimentales
base de données de relance
Il existe actuellement une variété de paradigmes d’induction d’émotions, qui sont principalement divisés en deux catégories : l’induction d’émotions endogène et exogène. La méthode endogène nécessite que les sujets se souviennent de souvenirs liés à des émotions spécifiques (ces souvenirs sont incertains et incontrôlables). Les méthodes exogènes induisent des émotions chez les sujets via une stimulation externe. Les paradigmes d'induction d'émotions exogènes sont plus largement utilisés dans la recherche sur la reconnaissance des émotions, car les chercheurs sont capables de contrôler les stimuli fournis aux sujets.
Les outils standardisés d'induction d'émotions incluent divers types de stimulus tels que les images, l'audio, la vidéo, le langage, les jeux vidéo et la réalité virtuelle (VR). Chaque type de stimulus a ses avantages et ses limites, et le choix du type de stimulus dépend de la question de recherche spécifique. Ici, cette étude a choisi la stimulation vidéo car elle présente les avantages d’une validité écologique élevée, d’une captation rapide de l’attention, de petits artefacts de mouvement, etc., et peut offrir une expérience proche du monde réel.
150 clips vidéo ont été collectés sur YouTube en utilisant les critères suivants :
1. La vidéo évoque une émotion.
2. Il n'y a pas de filigranes, de logos ou de publicités évidentes sur la vidéo pour éliminer les biais.
3. Le contenu de la vidéo doit être suffisamment clair pour que les participants puissent le comprendre sans explication supplémentaire.
4. Choisissez des vidéos avec moins de vues pour minimiser les effets de confusion tels que la familiarité.
5. La vidéo est suffisamment longue pour suivre les réponses hémodynamiques, mais n'affecte pas l'humeur, ne provoque pas de fatigue ou n'augmente pas la charge cognitive.
Deux psychologues (1 homme et 1 femme) ont examiné les vidéos et identifié 76 clips vidéo de 80 secondes couvrant un large éventail de scénarios (par exemple, les interactions humaines, les animaux, la nature, la nourriture et la comédie).
Pour vérifier davantage l'efficacité de ces vidéos à susciter des émotions, cette étude a mené une enquête sur Amazon Mechanical Turk (MTurk). Les répondants ont été invités à regarder 76 vidéos et à répondre à cinq questions sur chaque vidéo. La première question porte sur la familiarité du sujet avec la vidéo, qui est évaluée à l'aide d'une échelle de Likert standard à 5 points (1 = pas du tout familier, 5 = très familier). Les trois questions suivantes utilisent une échelle de Likert standard à 9 points (échelle SAM) pour évaluer la valence, l'excitation et la dominance (VAD) de l'émotion. La dernière question porte sur les émotions fondamentales sur l'axe principal de la roue des émotions de Plutchik. L'enquête MTurk pour cette étude est limitée aux personnes de plus de 18 ans et à celles possédant les qualifications MTurk Master. Cette étude a collecté 169 réponses sur 14 jours, dont 106 complètes. Afin d'améliorer la fiabilité des résultats de l'enquête, cette étude a supprimé les éléments avec des temps de réponse très courts afin d'éliminer la possibilité que les sujets aient rempli le questionnaire sans regarder la vidéo. Enfin, les données de 73 sujets (45 hommes et 28 femmes) ont été obtenues, avec un âge moyen de µ=32,8 ans et σ2=9,30. Les évaluations de ces sujets ont été analysées pour créer une vidéothèque à utiliser dans cette étude.
Sur la base des résultats de l'enquête MTurk et des scores de valence moyens, les vidéos ont été classées en trois catégories : positives, neutres et négatives. Pour éviter la duplication du contenu et garantir qu'un large éventail d'excitations et de dominations soit couvert, deux chercheurs ont sélectionné huit vidéos de chaque groupe.
Matériel de collecte et environnement expérimental
Des recherches antérieures ont montré que l'environnement expérimental a non seulement un impact significatif sur les données enregistrées, mais également sur l'état psychologique des sujets. Par conséquent, la configuration du laboratoire reste simple et sans distraction (Figure 1). La lumière dans la pièce a été tamisée pour éviter que la lumière ambiante n’affecte négativement les rayons infrarouges. Afin de réduire les artefacts de mouvement dans les signaux EEG, les chercheurs ont équipé les sujets de chaises confortables à dossier réglable. L'écran LG mesurait 59,5 pouces, avait un taux de rafraîchissement de 50/60 Hz et était placé à une distance confortable afin que les yeux des sujets puissent se concentrer sur le centre de l'écran. Toutes les échelles sont réalisées sur un iPad de 9,7 pouces.
Figure 1. Environnement expérimental.
Cette étude a collecté simultanément des données EEG et fNIRS à l'aide du matériel g.Nautilus Research. g.Nautilus est un appareil EEG sans fil alimenté par batterie équipé de 16 électrodes humides ainsi que d'une électrode de référence et d'une électrode de masse. Le dispositif complémentaire de canal g.SENSOR 8 fNIRS se compose de 8 émetteurs et de 2 récepteurs, qui sont fixés sur le capuchon EEG via un support magnétique. L'unité est conforme à un système de disposition standard 10/20 et prend en charge à la fois la fixation de la sonde fNIRS et le placement flexible des électrodes EEG. Le signal EEG avait un taux d'échantillonnage de 500 Hz, une sensibilité de ± 187,5 mV et a été enregistré à l'aide d'un filtre coupe-bande de 50 Hz. Appliquez un filtre passe-bande 0,01-100 Hz. Le taux d'échantillonnage du signal fNIRS est de 10 Hz et la distance entre chaque émetteur et récepteur est de 30 mm. La lumière infrarouge avec des longueurs d'onde de 785 nm et 850 nm est utilisée pour mesurer les changements dans l'absorption lumineuse des molécules d'hémoglobine dans le flux sanguin cérébral. Le facteur de longueur de trajet différentiel (DPF) pour tous les sujets était de 6.
Cette étude a surveillé les régions cérébrales suivantes : cortex préfrontal médial (mPFC), cortex préfrontal dorsolatéral (DLPFC), lobule pariétal inférieur, pôle frontal, cortex moteur supplémentaire, gyrus temporal supérieur et aire de Broca. La figure 2 montre les emplacements des électrodes EEG et de la sonde fNIRS, avec d'autres emplacements grossièrement calibrés à l'aide du système International 10/5. Les emplacements approximatifs des émetteurs fNIRS sont AF4h, AF3h, F8h, F7h, AFF10h, AFF9h, NFp2 et NFp1, les emplacements des récepteurs sont AF7h et AF8h ; Les emplacements des électrodes EEG sont FC3, FC4, FC5, FC6, CP3, CP4, T7, T8, F7, F8, AF5, AF6, F1, F2, FPz et AFz.
Figure 2. Emplacement des électrodes EEG (noires) et de la sonde fNIRS (bleue).
participants
Au total, 37 sujets (17 femmes et 20 hommes) ont participé à cette expérience, âgés de 22 à 44 ans (µ=28,97, σ2=5,73). Tous les sujets avaient une vision normale ou corrigée et aucun trouble neurologique ou psychologique diagnostiqué, tel que le trouble bipolaire ou la dépression. Il a été demandé aux sujets d'éviter de manger et de boire du thé ou du café contenant de la caféine dans les deux heures précédant le début de l'expérience. Cette étude a été menée à l’Auckland Institute of Bioengineering et a été approuvée par le comité d’éthique des participants humains de l’Université d’Auckland (UAHPEC). Les données sont anonymisées pour les rendre accessibles au public.
Protocole expérimental
Chaque sujet a visité le laboratoire au début de l'expérience pour se familiariser avec l'environnement, et les chercheurs ont donné une brève introduction à l'équipement permettant de réduire l'anxiété et de réduire l'impact de variables supplémentaires. S'ensuit une introduction à la procédure expérimentale et une explication des échelles d'étude. Après avoir signé le formulaire de consentement éclairé, les sujets ont été invités à remplir un questionnaire préalable à l'étude, comprenant des questions démographiques (âge, sexe, doigté et langue) et une échelle PANAS standard. PANAS est une échelle d'auto-évaluation de 20 éléments mesurant les émotions positives et négatives sur une échelle de 5 points. Cette échelle a été utilisée pour évaluer l’état émotionnel global des sujets avant le début de l’étude.
Afin de réduire l'impact de la densité et de la couleur des cheveux du sujet sur la transmission de la lumière infrarouge et les signaux EEG, cette étude a utilisé un peigne pour séparer les cheveux et nettoyer les cheveux du front avant de fixer les électrodes sur le cuir chevelu. Afin de garantir la clarté de l'audio et de garantir que les sujets sont isolés de l'environnement extérieur, des écouteurs sont préparés avant l'expérience et le volume approprié est ajusté en fonction des besoins de chaque sujet.
L'expérience comprenait trois phases, chacune contenant huit essais (Fig. 3). Ensuite, les 24 vidéos sélectionnées ont été divisées de manière pseudo-aléatoire en trois sous-ensembles expérimentaux. Chaque vidéo positive ou négative était suivie d'une vidéo neutre. Dans chaque essai, les sujets regardaient une vidéo de 80 secondes, puis disposaient de 35 secondes pour évaluer leurs émotions. Ils regardaient ensuite le centre de l'écran et respiraient profondément pendant 5 secondes pour se préparer à l'essai suivant. Pour éviter la fatigue et la somnolence, il y a une période de repos de deux à trois minutes entre chaque étape. Après chaque vidéo, les sujets devaient répondre à cinq questions : (I) Connaissez-vous cette vidéo ? Évaluées à l'aide d'une échelle de Likert à 5 points (1 : Pas du tout familier ; 5 : Très familier (II) à (IV) sont des questions sur l'échelle SAM à 9 points (Figure 4) Utiliser un mot pour ; décrivez vos sentiments (bonheur, tristesse, peur, colère). Les détails expérimentaux sont présentés dans le tableau 1.
Figure 3. Protocole expérimental.
Figure 4. Évaluation émotionnelle subjective de la valence, de l'excitation et de la dominance à l'aide de SAM.
Tableau 1. Résumé des informations expérimentales.
analyse d'évaluation subjective
Comme mentionné précédemment, cette étude a divisé les vidéos collectées en trois catégories (négatives, positives et neutres) afin de susciter un large éventail d'émotions. La figure 5 montre les notes de valence moyennes de 37 sujets pour chaque catégorie de stimuli sélectionnés. Grâce au test de Wilcoxon signé-rank, il a été constaté qu'il y avait une différence significative dans les scores de valence entre les stimuli négatifs et neutres (p <0,001), et de même, il y avait une différence significative entre les stimuli neutres et positifs (p <0,001).
Figure 5. Notes de Valence des vidéos négatives, positives et neutres.
Sur l’ensemble de l’ensemble de données, les notes moyennes pour la valence, l’excitation et la dominance étaient respectivement de 5,35 (±2,74), 5,06 (±2,28) et 5,16 (±2,35). La figure 7 montre la large couverture de chaque état émotionnel à chaque étape. De plus, selon le test de rang signé de Wilcoxon, les différences dans les notes des répondants mTurk et des sujets expérimentaux en matière de valence, d'excitation et de dominance n'étaient pas statistiquement significatives (car p > 0,05 pour toutes les dimensions) (Figure 6). Cela signifie que les deux groupes de sujets ont répondu de la même manière au stimulus sélectionné.
Figure 6. Comparaison des plages de notation des répondants à l'enquête mTurk et des sujets expérimentaux.
Figure 7. Notes moyennes de valence, d'excitation et de dominance pour chaque phase.
Pour examiner les effets de confusion potentiels ou les signes de fatigue, cette étude a exploré les corrélations moyennes entre les évaluations des sujets (Tableau 2). Les résultats de l’étude ont révélé une corrélation positive modérée entre la familiarité et la valence, et une faible corrélation positive entre la familiarité et la dominance. Même si aucune relation de cause à effet n’a été suggérée, les gens ont tendance à avoir des sentiments plus positifs à l’égard de vidéos plus familières. De plus, il existait une corrélation positive significative entre la valence et la dominance, et une corrélation négative entre la valence et l'excitation. Cependant, ces corrélations étaient faibles, ce qui indique que les sujets étaient capables de comprendre et de différencier clairement les différentes échelles au cours du processus de notation. L'ordre des stimuli n'était pas significativement lié aux scores de valence, d'éveil ou de dominance, ce qui suggère peu d'influence des effets d'accoutumance ou de fatigue.
Tableau 2. Corrélations moyennes entre les évaluations subjectives de familiarité, de valence, d'excitation, de dominance et d'ordre de présentation. * indique p<0,05.
analyse conjointe
Prétraitement des données
Diverses sources de bruit peuvent interférer avec les signaux EEG et fNIRS, compliquant ainsi l’interprétation des données. De nombreux artefacts observés dans les signaux EEG, tels que la transpiration, la dérive lente, les clignements et les mouvements oculaires, se produisent principalement dans la plage des basses fréquences (<4 Hz), tandis que d'autres artefacts, tels que le serrement des dents et les mouvements musculaires, se produisent dans la plage de fréquences plus élevée et plus large. Bien que les signaux fNIRS soient plus robustes aux artefacts de mouvement que les signaux EEG, ils peuvent toujours être affectés par le bruit des instruments (> 3 Hz), les ondes de Meyer (0,1 Hz), la respiration (0,2-0,5 Hz), la fréquence cardiaque (1-1,5 Hz) et interférence des fluctuations de la pression artérielle.
Pour réduire le coût de calcul, le signal est sous-échantillonné à 250 Hz. Un filtre Butterworth de troisième ordre est utilisé pour le filtrage, dans lequel la plage de filtrage de l'EEG est de [4-80] Hz et la plage de filtrage du fNIRS est de [0,0125-0,7] Hz pour éliminer le bruit ci-dessus. Les deux dernières secondes de la période de repos de 5 secondes précédant chaque stimulus ont servi de référence, et la vidéo de 80 secondes a été utilisée pour l'analyse de l'état émotionnel. Il est connu que différentes méthodes de correction de la ligne de base peuvent conduire à des résultats différents. Ici, cette étude utilise la moyenne et l’écart type de la ligne de base pour normaliser les données expérimentales.
En raison de la complexité et de la nature non stationnaire de la dynamique cérébrale, la sélection de caractéristiques spécifiques pour représenter les signaux physiologiques peut être difficile et affecte à son tour l’interprétation des données. Il existe de nombreuses fonctionnalités dans les domaines temporel, fréquentiel et spatial, chacune ayant ses avantages. Cette étude utilise la puissance de bande (BP) et l'entropie différentielle (DE) pour représenter les caractéristiques spectrales et les caractéristiques dynamiques non linéaires des modalités, toutes deux efficaces dans les systèmes de reconnaissance des émotions. En outre, cette étude a également extrait la valeur moyenne des données fNIRS pour fournir une perspective supplémentaire sur la dynamique vasculaire. Pour estimer BP, cette étude adopte la méthode Welch (la taille de la fenêtre est de 4 s) et calcule l'aire de la densité spectrale de puissance (PSD) dans la bande de fréquences d'intérêt.
Corrélation des données neurovasculaires et des scores
Pour déterminer si les données EEG et fNIRS étaient en corrélation avec les évaluations subjectives, une analyse de corrélation a été réalisée au milieu des 40 secondes de chaque essai. BP a été utilisé pour évaluer la corrélation des deux modalités afin de fournir une comparaison directe. De plus, la corrélation entre HbO et HbR et les scores des sujets a été évaluée. Cette étude a calculé le coefficient de corrélation de Spearman entre la puissance de fréquence et les évaluations subjectives de chaque type de signal, et a calculé la valeur p pour 37 sujets, en supposant l'indépendance entre les données. Les 37 valeurs p de Spearman pour chaque type de signal et chaque canal ont ensuite été combinées en une seule valeur p à l'aide de la méthode de Fisher. Le niveau de signification est p<0,05. Les résultats sont présentés dans le tableau 3. On peut observer que dans toutes les dimensions de l’état émotionnel, les canaux constamment significatifs sont principalement situés dans les lobes préfrontaux (AF5, AFz, F1, Fpz) et temporaux (T7, T8). Ce résultat est similaire aux études précédentes utilisant l’EEG pour la reconnaissance des émotions.
Tableau 3. Corrélation moyenne entre l'optode fNIRS et l'électrode EEG (p <0,05). (*=p<0,01, ∗*=p<0,001).
Cette étude a observé une forte corrélation entre le titre et les signaux EEG dans toutes les bandes de fréquences. La puissance de la bande alpha dans la région centrale (CP3) augmentait avec l'augmentation des scores de valence. Les signaux d’éveil et d’EEG étaient significativement corrélés dans toutes les bandes de fréquences. En particulier, cette étude a révélé une corrélation négative significative entre l’éveil et la puissance des bandes thêta et alpha dans la région PFC. Concernant la dominance, les résultats de la présente étude suggèrent que l'hémisphère droit joue un rôle plus important, comme en témoignent les électrodes saillantes dans les zones F2, FC6 et T8.
L'analyse des signatures fNIRS en trois dimensions a révélé des corrélations significatives entre les signaux d'oxygénation et de désoxygénation. Cette découverte est cohérente avec l'étude de Bandara et al. (2018) selon laquelle, en plus des signaux d'oxygénation, les signaux de désoxygénation jouent également un rôle crucial dans la distinction de la valence et de l'éveil. Les résultats de cette étude montrent que le signal fNIRS présente la plus forte corrélation avec le score de puissance. Plus précisément, la stimulation active a déclenché une augmentation de la puissance de bande de fréquence du signal d’oxygénation AFF10h dans la région PFC, tout en provoquant une diminution de la puissance de bande de fréquence du signal de désoxygénation dans les régions F8h, AF4h et F7h. De plus, les niveaux de désoxygénation des canaux NFp1 et AF3h ont montré une corrélation positive significative avec la puissance (p < 0,01). Concernant l'éveil, une augmentation de la puissance de la bande et du signal d'oxygénation à la position AFF10h a été observée. En termes de dominance, le niveau moyen de désoxygénation des canaux NFp1 a diminué.
en conclusion
Cette étude propose la base de données sur les émotions fNIRS-EEG (FEAD), qui contient des données neurohémodynamiques de 37 sujets et des scores d'état affectif pour 24 stimuli vidéo émotionnels. Cette étude utilise des appareils portables pour enregistrer les signaux EEG et fNIRS. Cette méthode offre la possibilité d'intégrer des technologies et des algorithmes informatiques affectifs dans diverses applications, et les résultats de l'étude révèlent bien la sensibilité des signaux EEG et fNIRS aux dimensions émotionnelles. On espère que les recherches futures utiliseront cette base de données pour explorer et développer de nouvelles méthodes d’analyse des données.
Références : AF Nia, V. Tang, V. Malyshau, A. Barde, GM Talou et M. Billinghurst, « FEAD : Introduction à la base de données affective fNIRS-EEG - Stimuli vidéo », dans IEEE Transactions on Affective Computing, doi : 10.1109/TAFFC.2024.3407380.