요약
본 논문에서는 감정 인식 모델을 훈련하는 데 사용할 수 있는 fNIRS-EEG 감정 데이터베이스-FEAD를 제안합니다. 이 연구는 총 37명의 피험자의 뇌 전기 활동과 대뇌 혈역학적 반응뿐만 아니라 24가지 정서적 시청각 자극에 대한 피험자의 분류 및 차원 등급을 기록했습니다. 신경생리학적 신호와 주관적 평가 사이의 관계를 조사한 결과 전두엽 피질 영역에서 유의미한 상관관계가 발견되었습니다. 데이터베이스는 공개적으로 제공될 예정이며 연구자들이 보다 발전된 감성 컴퓨팅 및 감정 인식 알고리즘을 개발하도록 장려하기 위한 것입니다.
소개
감정은 특정 자극에 대한 신경계의 단명하고 강렬한 반응입니다. 많은 연구에 따르면 대뇌 피질 및 피질하 신경 구조가 감정의 조절 및 처리에 관여하는 것으로 나타났습니다. 신경계는 심리적 과정을 통제하고, 반응하고, 조절하는 데 중요한 역할을 하기 때문에, 그 기능을 이해하면 효과적인 감정 지표를 식별하는 데 도움이 될 수 있습니다. 우리의 감각 수용체는 내부 및 외부 환경의 변화를 감지하고 이러한 변화를 활동 전위(신호)를 통해 뇌 신경계의 관련 부분에 전달합니다. 감정, 생각, 결정은 이러한 감각 입력이 종합된 결과입니다. 그런 다음 신경계는 근육이나 분비선과 같은 다른 기관에 신호를 보내 사람들이 의식적 또는 무의식적으로 환경 변화에 반응할 수 있도록 합니다. 이는 감정 측정을 위한 세 가지 주요 방법을 제공합니다. 1) 생리적 신호(예: 호흡수, 심장 박동 또는 신경 전기 활동)를 수집하여 바이오마커를 측정합니다. 2) 외부 징후(예: 거시적/미시적 표정 또는 신체 언어)를 모니터링합니다. ;3) 주관적 평가(예: 자기 보고 측정).
개인의 감정 상태를 가장 잘 나타내는 감정 지표를 선택하려면 인간 감정의 복잡성을 고려해야 합니다. 외부 지표는 관찰하고 획득하기 쉽지만, 사회적 의무, 개인적 습관 등 다양한 요인으로 인해 외부 관찰자가 이러한 지표와 관련된 감정을 이해하기 어렵습니다. 반면, 생리적 신호는 낮은 신호 대 잡음비, 개인의 정신생리학적 메커니즘, 성별, 심리적, 신체적 특성 등의 요인으로 인해 해석하기 어려울 수 있습니다. 그러나 바이오마커는 외부 지표에 덜 민감하고 숨기거나 위장하기 어렵습니다. 또한 최근 몇 년간의 기술 발전으로 인해 데이터 수집이 쉽고 저렴해지면서 생리학적 신호를 안정적으로 사용하여 인간의 감정을 감지할 수 있게 되었습니다.
인간의 감정을 의미론적 감정 상태에 매핑하는 데 있어 널리 받아들여지는 두 가지 프레임워크, 즉 이산 감정 이론과 차원 감정 이론이 있습니다. 이산 감정 이론은 인간에게 문화 간 식별이 가능한 핵심 감정 세트가 있다고 가정합니다. 분노, 혐오, 두려움, 행복, 슬픔, 놀람을 포함한 에크만의 6가지 기본 감정은 이산 감정 이론에서 인기 있는 모델입니다. 각 감정 상태는 독특하고 보편적이며, 다양한 감정을 명확하게 정의하고 설명할 수 있는 특정 특성을 가지고 있습니다. 그러나 인간 감정의 복잡성과 기본 감정 구성 요소에 대한 다양한 견해를 고려하여 다른 연구자들은 소위 차원 감정 이론인 다차원 축에 감정 상태를 매핑하는 방법을 제안했습니다. 이 이론에는 여러 가지 다른 모델이 있습니다. 예를 들어, PAD 3차원 모델은 즐거움, 각성, 지배를 사용하여 인간의 감정을 설명합니다. 여기서 즐거움은 행복이나 즐거움의 정도를 나타내고, 각성은 각성 수준을 나타내며, 지배는 주변 환경에 대한 영향을 나타냅니다. 또 다른 인기 있는 차원 모델은 감정을 즐거움과 각성이라는 두 축에 매핑하려고 시도하는 곡면 모델입니다. Plutchik(2003)이 제안한 감정 바퀴는 범주 이론과 차원 이론을 결합합니다. 행복, 두려움, 슬픔, 분노라는 네 가지 상반된 기본 감정을 동심원으로 배열합니다. 여기서 본 논문에서는 PAD 차원 모델과 Plutchik의 감정 휠에 있는 4가지 감정 범주를 사용하여 기본 진리값을 설정합니다.
최근에는 단일(단일 모드) 또는 다중(다중 모드) 감정 지표와 하나 이상의 감정 이론을 사용하는 많은 감정 벤치마크 데이터베이스가 출시되었습니다. 예를 들어 베를린 감정 음성 데이터베이스(Emo-DB)는 배우 10명(남자 5명, 여자 5명)이 말한 535개의 문장을 기록하여 그들의 감정을 6가지 감정 범주(기쁨, 분노, 불안, 두려움, 지루함, 혐오감)에 매핑합니다. ). SMIC(Spontaneous Microexpressions) 및 SAMM(Spontaneous Microfacial Movements) 데이터 세트는 참가자의 얼굴 표정이 기록되고 감정이 범주형 감정으로 변환되는 단일 모달 데이터베이스이기도 합니다. 마찬가지로 SEED 데이터세트는 참가자 15명의 생리적 신호(EEG)를 사용하여 감정을 분류합니다. 그러나 인간 심리 상태의 복잡성, 주관적 의식과 무의식적 특성, 인간 감정에 대한 포괄적인 이해의 필요성으로 인해 연구자들은 다양한 감정 인식 연구를 수행하게 되었습니다. AMIGOS 데이터 세트는 40명의 개인으로부터 3가지 생리적 신호와 얼굴 및 신체의 영상 녹화 정보를 수집하여 미묘한 감정 변화를 식별합니다. DEAP, MAHNOB-HCI, RECOLA, DREAMER 및 DECAF는 참가자의 눈 움직임, 얼굴 비디오, 음성 및 생리적 신호(EEG, 근전도 검사(EMG), 심전도(ECG), 피부 전기 활동(EDA))를 기록하는 다중 모드 데이터베이스이기도 합니다. .
뇌가 정서적 반응을 처리하고 생성하는 데 중심적인 역할을 한다는 점을 고려할 때 신경 활동을 측정하면 이 과정에 대한 귀중한 통찰력을 제공하고 감정이 표현되는 방식을 더 잘 이해하는 데 도움이 될 수 있습니다. EEG 및 fNIRS와 같은 기술은 상대적으로 비용이 저렴하고 뇌에 대한 동적 정보를 수집하는 데 탁월합니다. 일부 초기 연구에서는 특히 신경혈관 결합(대뇌 혈류와 신경 활동 사이의 관계)을 측정하는 감정 연구의 맥락에서 하이브리드 환경에서 이러한 기술의 상호보완성을 강조했습니다. 운동 이미지, 정신 부하 및 모션 아티팩트 분석에 초점을 맞춘 공개적으로 사용 가능한 fNIRS-EEG 데이터베이스가 있지만, 우리가 아는 한 현재 감정 인식에 초점을 맞춘 공개적으로 사용 가능한 fNIRS-EEG 데이터베이스는 단 하나뿐입니다. 이 데이터세트에는 참가자 5명의 기록만 포함되어 있습니다. 따라서 현재 감정 연구를 위한 fNIRS 및 EEG 신호를 포함하는 포괄적인 대규모 감정 데이터베이스가 부족합니다.
여기에서 이 연구는 fNIRS-EEG 감정 데이터베이스(FEAD)를 만들었습니다. 이 데이터베이스는 37명의 참가자가 24가지 감정적 단서(시청각 자극)에 반응할 때 EEG 및 fNIRS 신호를 동시에 기록했습니다. 그런 다음 이 이중 측정은 기분, 각성, 지배력뿐 아니라 행복, 분노, 두려움, 감정의 네 가지 개별 범주를 포괄하는 주관적 자기 평가를 위한 SAM(Self-Rating Scale of Mood)을 사용하여 차원적 감정 모델에 매핑되었습니다. 그리고 슬픔. 또한 FEAD 데이터베이스에는 실험 전 참가자의 감정 상태에 대한 정보를 제공하는 비디오 친숙도, 인구통계학적 정보 및 PANAS(긍정적 및 부정적 감정 척도)에 대한 참가자의 반응이 포함되어 있습니다. 이 연구에서는 감정 바이오마커를 측정하기 위한 시스템으로 이 하이브리드 설정을 검토하고 fNIRS 및 EEG의 예비 차원 감정 분류 결과를 단일 모드 및 이중 모드 시스템으로 보여줍니다.
실험 절차
자극 데이터베이스
현재 다양한 감정 유도 패러다임이 있는데, 이는 주로 내생적 감정 유도와 외생적 감정 유도의 두 가지 범주로 나뉩니다. 내생적 방법에서는 피험자가 특정 감정과 관련된 기억을 회상하도록 요구합니다(이러한 기억은 불확실하고 통제할 수 없습니다). 외인적 방법은 외부 자극을 통해 대상의 감정을 유도합니다. 외인성 감정 유도 패러다임은 연구자가 피험자에게 제공되는 자극을 제어할 수 있기 때문에 감정 인식 연구에 더 널리 사용됩니다.
표준화된 감정 유도 도구에는 이미지, 오디오, 비디오, 언어, 비디오 게임, 가상 현실(VR) 등 다양한 자극 유형이 포함됩니다. 각 자극 유형에는 장점과 한계가 있으며, 자극 유형의 선택은 특정 연구 질문에 따라 달라집니다. 여기서 본 연구가 비디오 자극을 선택한 이유는 높은 생태학적 타당성, 빠른 주의 집중, 작은 움직임 인공물 등의 장점이 있고, 현실 세계에 가까운 경험을 제공할 수 있기 때문이다.
다음 기준을 사용하여 YouTube에서 150개의 비디오 클립을 수집했습니다.
1. 영상이 감동을 불러일으킵니다.
2. 편견을 없애기 위해 동영상에는 워터마크, 로고 또는 눈에 띄는 광고가 없습니다.
3. 영상의 내용은 참가자들이 별도의 설명 없이도 이해할 수 있을 정도로 명확해야 합니다.
4. 익숙함 등의 혼란스러운 효과를 최소화하려면 조회수가 적은 동영상을 선택하세요.
5. 비디오의 길이는 혈역학적 반응을 추적할 수 있을 만큼 길지만 기분에 영향을 미치거나 피로를 유발하거나 인지 부하를 증가시키지 않습니다.
두 명의 심리학자(남자 1명, 여자 1명)가 비디오를 검토하고 광범위한 시나리오(예: 인간 상호 작용, 동물, 자연, 음식 및 코미디)를 다루는 80초 길이의 비디오 클립 76개를 식별했습니다.
감정을 이끌어내는 데 있어 이러한 비디오의 효과를 추가로 검증하기 위해 본 연구에서는 MTurk(Amazon Mechanical Turk)에 대한 설문조사를 실시했습니다. 응답자들은 76개의 동영상을 시청하고 각 동영상에 대해 5개의 질문에 답하도록 요청 받았습니다. 첫 번째 질문은 피험자의 영상 친숙도에 관한 것으로 표준 5점 Likert 척도(1=전혀 익숙하지 않음, 5=매우 익숙함)를 사용하여 평가됩니다. 다음 세 가지 질문은 표준 9점 리커트 척도(SAM 척도)를 사용하여 감정의 원자가, 각성, 지배력(VAD)을 평가합니다. 마지막 질문은 플루칙의 감정바퀴의 주축에 있는 핵심 감정에 대해 묻는다. 본 연구를 위한 MTurk 설문조사는 18세 이상 및 MTurk Master 자격을 갖춘 사람들로 제한됩니다. 이 연구는 14일 동안 169개의 응답을 수집했으며 그 중 106개가 완료되었습니다. 설문조사 결과의 신뢰도를 높이기 위해 본 연구에서는 응답시간이 매우 짧은 항목을 삭제하여 피험자가 영상을 시청하지 않고 설문지를 완료할 가능성을 제거하였다. 마지막으로, 73명의 피험자(남성 45명, 여성 28명)로부터 데이터를 얻었으며, 평균 연령은 µ=32.8세, σ2=9.30이었습니다. 본 연구에서 사용할 비디오 라이브러리를 구축하기 위해 이러한 피험자들의 평가를 분석했습니다.
MTurk 설문조사 결과와 평균 Valence 점수를 바탕으로 동영상은 긍정적, 중립, 부정적이라는 세 가지 범주로 분류되었습니다. 콘텐츠 중복을 피하고 다양한 범위의 흥분과 지배력을 다루기 위해 두 명의 연구자가 각 그룹에서 8개의 동영상을 선택했습니다.
수집 장비 및 실험 환경
이전 연구에서는 실험 환경이 기록된 데이터뿐만 아니라 피험자의 심리적 상태에도 중요한 영향을 미치는 것으로 나타났습니다. 따라서 실험실 설정은 단순하고 산만하지 않게 유지됩니다(그림 1). 주변광이 적외선에 부정적인 영향을 미치는 것을 방지하기 위해 방의 조명을 어둡게 했습니다. EEG 신호의 모션 아티팩트를 줄이기 위해 연구원들은 피험자에게 편안하고 등받이 조절이 가능한 의자를 장착했습니다. LG 디스플레이는 59.5인치 크기에 주사율이 50/60Hz로, 피사체의 눈이 화면 중앙에 집중될 수 있도록 편안한 거리에 배치됐다. 모든 저울은 9.7인치 아이패드에서 완성됩니다.
그림 1. 실험 환경.
이 연구에서는 g.Nautilus Research 하드웨어를 사용하여 EEG 및 fNIRS 데이터를 동시에 수집했습니다. g.Nautilus는 16개의 습식 전극과 기준 전극 및 접지 전극을 갖춘 무선 배터리 구동 EEG 장치입니다. g.SENSOR 8 fNIRS 채널 추가 장치는 8개의 송신기와 2개의 수신기로 구성되며, 자석 브래킷을 통해 EEG 캡에 고정됩니다. 이 장치는 표준 10/20 레이아웃 시스템을 준수하며 fNIRS 프로브 부착과 유연한 EEG 전극 배치를 모두 지원합니다. 뇌파 신호는 500Hz의 샘플링 속도, ±187.5mV의 감도를 가지며 50Hz 노치 필터를 사용하여 기록되었습니다. 0.01-100Hz 대역통과 필터를 적용합니다. fNIRS 신호의 샘플링 속도는 10Hz이고 각 송신기와 수신기 사이의 거리는 30mm입니다. 785nm와 850nm 파장의 적외선을 사용하여 뇌혈류 내 헤모글로빈 분자의 빛 흡수 변화를 측정합니다. 모든 피험자의 차등 경로 길이 계수(DPF)는 6이었습니다.
이 연구에서는 내측 전두엽 피질(mPFC), 배외측 전전두엽 피질(DLPFC), 하두정 소엽, 전두엽, 보조 운동 피질, 상측두회 및 브로카 영역과 같은 뇌 영역을 모니터링했습니다. 그림 2는 EEG 전극과 fNIRS 프로브의 위치를 보여 주며, 다른 위치는 International 10/5 시스템을 사용하여 대략적으로 보정됩니다. fNIRS 송신기의 대략적인 위치는 AF4h, AF3h, F8h, F7h, AFF10h, AFF9h, NFp2 및 NFp1입니다. 수신기 위치는 AF7h 및 AF8h입니다. EEG 전극의 위치는 FC3, FC4, FC5, FC6, CP3, CP4, T7, T8, F7, F8, AF5, AF6, F1, F2, FPz 및 AFz입니다.
그림 2. EEG 전극(검은색)과 fNIRS 프로브(파란색)의 위치.
참가자들
본 실험에는 총 37명의 피험자(여성 17명, 남성 20명)가 참여했으며 연령 범위는 22~44세(μ=28.97, σ2=5.73)였습니다. 모든 피험자는 정상 또는 정상 시력으로 교정되었으며 양극성 장애 또는 우울증과 같은 신경학적 또는 심리적 장애로 진단되지 않았습니다. 피험자들은 실험 시작 전 2시간 이내에 카페인이 함유된 차나 커피를 먹거나 마시는 것을 피하도록 요청받았습니다. 이 연구는 오클랜드 생명공학 연구소에서 수행되었으며 오클랜드 대학교 인간 참가자 윤리 위원회(UAHPEC)의 승인을 받았습니다. 데이터는 공개적으로 액세스할 수 있도록 익명 처리됩니다.
실험 프로토콜
각 피험자는 실험 초기에 실험실을 방문하여 환경에 익숙해졌고, 연구자들은 불안을 줄이고 추가 변수의 영향을 줄이기 위해 장비에 대해 간략하게 소개했습니다. 이어서 실험 절차에 대한 소개와 연구 규모에 대한 설명이 이어집니다. 피험자 동의서에 서명한 후 인구통계학적 질문(연령, 성별, 손놀림, 언어) 및 표준 PANAS 척도를 포함한 연구 전 설문지를 작성하도록 요청 받았습니다. PANAS는 긍정적인 감정과 부정적인 감정을 5점 척도로 측정하는 20문항 자기보고식 척도입니다. 이 척도는 연구가 시작되기 전에 피험자의 전반적인 감정 상태를 평가하는 데 사용되었습니다.
피험자의 모발 밀도와 색상이 적외선 투과 및 뇌파 신호에 미치는 영향을 줄이기 위해 본 연구에서는 빗을 사용하여 모발을 분리하고 이마의 모발을 깨끗하게 한 후 전극을 두피에 고정했습니다. 오디오의 선명도를 보장하고 피험자가 외부 환경으로부터 격리되도록 실험 전에 헤드폰을 준비하고 각 피험자의 필요에 따라 적절한 볼륨을 조정합니다.
실험은 3단계로 구성되었으며 각 단계에는 8개의 시도가 포함되어 있습니다(그림 3). 그런 다음 선택된 24개의 비디오를 무작위로 3개의 실험 하위 집합으로 나누었습니다. 각각의 긍정적이거나 부정적인 동영상 뒤에는 중립적인 동영상이 이어졌습니다. 각 실험에서 피험자들은 80초 분량의 영상을 시청한 후 35초 동안 감정을 평가한 후 화면 중앙을 바라보며 5초간 심호흡을 하며 다음 실험을 준비했습니다. 피로와 졸음을 예방하기 위해 각 단계 사이에 2~3분의 휴식시간을 가집니다. 각 비디오가 끝난 후 피험자들에게 다섯 가지 질문에 답하도록 요청했습니다. (I) 이 비디오에 대해 잘 알고 계십니까? 5점 Likert 척도로 평가됩니다(1: 전혀 익숙하지 않음, 5: 매우 익숙함). (II) ~ (IV)는 9점 SAM 척도의 질문입니다(그림 4). 자신의 감정(행복, 슬픔, 두려움, 분노)을 설명하십시오. 실험 세부 사항은 표 1에 나와 있습니다.
그림 3. 실험 프로토콜.
그림 4. SAM을 사용한 원자가, 각성 및 지배력에 대한 주관적인 감정 평가.
표 1. 실험 정보 요약
주관적 평가 분석
앞서 언급한 바와 같이 본 연구에서는 수집된 영상을 세 가지 범주(부정적, 긍정적, 중립)로 나누어 다양한 감정을 이끌어냈다. 그림 5는 선택된 자극의 각 범주에 대한 37명의 피험자의 평균 원자가 등급을 보여줍니다. Wilcoxon signed-rank test를 통해 음성 자극과 중성 자극 사이의 원자가 점수에 유의한 차이가 있는 것으로 나타났으며(p<0.001), 마찬가지로 중성 자극과 양성 자극 간에도 유의한 차이가 있는 것으로 나타났습니다(p<0.001).
그림 5. 부정, 긍정, 중립 동영상의 원자가 등급.
전체 데이터 세트에서 원자가, 각성 및 지배력에 대한 평균 등급은 각각 5.35(±2.74), 5.06(±2.28) 및 5.16(±2.35)이었습니다. 그림 7은 각 단계의 각 감정 상태에 대한 광범위한 범위를 보여줍니다. 또한 Wilcoxon 부호 순위 테스트에 따르면 mTurk 응답자와 실험 대상의 원자가, 각성 및 지배력에 대한 평가 차이는 통계적으로 유의하지 않았습니다(모든 차원에서 p>0.05이기 때문에)(그림 6). 이는 두 그룹의 피험자가 선택한 자극에 유사하게 반응했음을 의미합니다.
그림 6. mTurk 설문조사 응답자와 실험 대상의 평가 범위 비교.
그림 7. 각 단계의 원자가, 각성 및 지배력의 평균 등급.
잠재적인 교란 효과나 피로 징후를 조사하기 위해 이 연구에서는 피험자의 평가에 대한 평균 상관관계를 조사했습니다(표 2). 연구 결과, 친밀도와 원자가 사이에는 중간 정도의 양의 상관관계가 있었고, 친밀도와 지배력 사이에는 약한 양의 상관관계가 있는 것으로 나타났습니다. 인과관계가 제시된 바는 없지만, 사람들은 더 친숙한 비디오에 대해 더 긍정적인 감정을 갖는 경향이 있었습니다. 또한, 원자가와 지배력 사이에는 유의미한 양의 상관관계가 있었고, 원자가와 각성 사이에는 음의 상관관계가 있었습니다. 그러나 이러한 상관 관계는 약하여 피험자가 채점 과정에서 다양한 척도를 명확하게 이해하고 구별할 수 있음을 나타냅니다. 자극 순서는 원자가, 각성 또는 지배력 점수와 크게 관련되지 않았으며 습관화 또는 피로 효과의 영향이 거의 없음을 시사합니다.
표 2. 친밀감, 원자가, 각성, 지배력 및 표시 순서에 대한 주관적 평가 간의 평균 상관관계. *는 p<0.05를 나타냅니다.
결합 분석
데이터 전처리
다양한 잡음 소스는 EEG 및 fNIRS 신호를 방해하여 데이터 해석을 복잡하게 만들 수 있습니다. 발한, 느린 표류, 눈 깜박임, 안구 움직임과 같은 EEG 신호에서 관찰되는 많은 인공물은 주로 저주파 범위(<4Hz)에서 발생하는 반면, 이를 악물고 근육 움직임과 같은 다른 인공물은 저주파수 범위(<4Hz)에서 발생합니다. 더 높은 주파수 범위. fNIRS 신호는 EEG 신호보다 모션 아티팩트에 더 강력하지만 여전히 기기 소음(>3Hz), 마이어파(0.1Hz), 호흡(0.2~0.5Hz), 심박수(1~1.5Hz) 및 혈압 변동으로 인한 간섭.
계산 비용을 줄이기 위해 신호는 250Hz로 다운샘플링됩니다. 필터링에는 3차 Butterworth 필터가 사용되는데, EEG의 필터링 범위는 [4-80]Hz이고, fNIRS의 필터링 범위는 [0.0125-0.7]Hz로 위의 잡음을 제거한다. 각 자극 전 5초의 휴식시간 중 마지막 2초를 기준으로 삼았으며, 감정상태 분석에는 80초 영상을 사용하였다. 기준선 수정 방법이 다르면 결과도 달라질 수 있는 것으로 알려져 있습니다. 여기서 본 연구에서는 기준선의 평균과 표준편차를 이용하여 실험 데이터를 정규화하였다.
뇌 역학의 복잡성과 비정상적 특성으로 인해 생리학적 신호를 나타내는 특정 기능을 선택하는 것은 어려울 수 있으며 결과적으로 데이터 해석에 영향을 미칩니다. 시간, 주파수, 공간 영역에는 각각 장점이 있는 많은 기능이 있습니다. 본 연구에서는 감정 인식 시스템에 효과적인 양상의 스펙트럼 특성과 비선형 동적 특성을 표현하기 위해 밴드 파워(BP)와 미분 엔트로피(DE)를 사용합니다. 또한, 이 연구에서는 혈관 역학에 대한 추가적인 관점을 제공하기 위해 fNIRS 데이터의 평균값도 추출했습니다. 본 연구에서는 BP를 추정하기 위해 Welch 방법(창 크기는 4s)을 채택하고 관심 주파수 대역 내 전력 스펙트럼 밀도(PSD)의 면적을 계산합니다.
신경혈관 데이터와 점수의 상관관계
EEG와 fNIRS 데이터가 주관적 평가와 상관관계가 있는지 확인하기 위해 각 시험의 중간 40대에 상관관계 분석을 수행했습니다. BP는 직접적인 비교를 제공하기 위해 두 가지 양식의 상관 관계를 평가하는 데 사용되었습니다. 또한, HbO 및 HbR과 대상 점수의 상관관계를 평가했습니다. 본 연구에서는 각 신호 유형의 주파수 전력과 주관적 등급 간의 Spearman 상관 계수를 계산하고 데이터 간의 독립성을 가정하여 37명의 피험자에 대한 p-값을 계산했습니다. 그런 다음 각 신호 유형과 각 채널에 대한 37개의 Spearman p-값을 Fisher의 방법을 사용하여 단일 p-값으로 결합했습니다. 유의수준은 p<0.05이다. 결과를 표 3에 나타내었다. 모든 감정 상태 차원에서 일관되게 중요한 채널은 대부분 전두엽(AF5, AFz, F1, Fpz)과 측두엽(T7, T8)에 위치한다는 것을 관찰할 수 있습니다. 이 결과는 감정 인식을 위해 EEG를 사용한 이전 연구와 유사합니다.
표 3. fNIRS 광극과 EEG 전극 사이의 평균 상관관계(p<0.05) (*=p<0.01, **=p<0.001).
이 연구에서는 모든 주파수 대역에서 역가와 EEG 신호 사이에 강한 상관관계가 있음을 관찰했습니다. 중앙(CP3) 영역의 알파밴드 전력은 원자가 점수가 증가함에 따라 증가했습니다. 각성 및 EEG 신호는 모든 주파수 대역에서 유의미한 상관관계가 있었습니다. 특히, 본 연구에서는 PFC 영역에서 각성과 세타밴드 및 알파밴드 파워 사이에 유의미한 음의 상관관계가 있음을 발견했습니다. 우세와 관련하여, 본 연구의 결과는 F2, FC6 및 T8 영역의 돌출 전극에 반영된 바와 같이 우반구가 더 중요한 역할을 한다는 것을 시사합니다.
fNIRS 시그니처를 3차원으로 분석한 결과 산소화 신호와 탈산소화 신호 사이에 유의미한 상관관계가 밝혀졌습니다. 이 발견은 산소화 신호 외에도 탈산소 신호도 원자가와 각성을 구별하는 데 중요한 역할을 한다는 Bandara et al.(2018)의 연구와 일치합니다. 이 연구 결과는 fNIRS 신호가 효능 점수와 가장 강한 상관관계를 가지고 있음을 보여줍니다. 구체적으로, 활성 자극은 PFC 영역에서 AFF10h 산소화 신호의 주파수 대역 전력의 증가를 유발하는 반면, F8h, AF4h 및 F7h 영역에서는 탈산소 신호의 주파수 대역 전력의 감소를 유발했습니다. 또한, NFp1 및 AF3h 채널의 탈산소화 수준은 효능과 유의한 양의 상관관계를 나타냈습니다(p<0.01). 각성과 관련하여 AFF10h 위치에서 밴드 파워와 산소화 신호 모두의 증가가 관찰되었습니다. 우세 측면에서 NFp1 채널의 평균 탈산소 수준은 감소했습니다.
결론적으로
이 연구는 37명의 피험자의 신경혈역학 데이터와 24개의 감정 비디오 자극에 대한 감정 상태 점수를 포함하는 fNIRS-EEG 감정 데이터베이스(FEAD)를 제안합니다. 이 연구는 휴대용 장치를 사용하여 EEG 및 fNIRS 신호를 기록합니다. 이 방법은 다양한 응용 분야에서 감성 컴퓨팅 기술과 알고리즘을 통합할 수 있는 기회를 제공하며, 연구 결과는 감성 차원에 대한 EEG 및 fNIRS 신호의 민감도를 잘 보여줍니다. 향후 연구에서는 이 데이터베이스를 활용하여 새로운 데이터 분석 방법을 탐색하고 개발할 수 있기를 바랍니다.
출처: AF Nia, V. Tang, V. Malyshau, A. Barde, GM Talou 및 M. Billinghurst, "FEAD: fNIRS-EEG Affective Database 소개 - 비디오 자극", IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2024.3407380.