摘要
本文提出了一种可用于练习感情识别模型的fNIRS-EEG情感数据库——FEAD。研究共记录了37名被试的脑电活动和脑血流动力学反应，以及被试对24种感情视听刺激的分类和维度评分。探讨了神经生理信号与主观评分之间的关系，并在前额叶皮层地区发现了明显的相干性。该数据库将公开提供，旨在鼓励研究人员开辟更先辈的情感计算和感情识别算法。
引言
感情是神经体系对某种刺激产生的一种短暂而猛烈的反应。很多研究表明，大脑皮层和皮层下神经结构参与了感情的调治和处理。因为神经体系在控制、反应和调治心理过程中发挥着重要作用，所以了解其功能有助于我们识别有效的感情指标。我们的感觉受体检测到体内和外部情况的变革，并通过动作电位(信号)将这些变革传递到大脑神经体系的相干部分。感觉、思想和决策是这些感觉输入信息综合的效果。随后，神经体系通过向差异器官(如肌肉和腺体)发送信号，使人们能够对情况变革做出故意识或无意识的反应。这产生了三种主要的感情丈量途径：1)通过收集生理信号(如呼吸频率、心跳或神经电活动)来丈量生物标记物；2)监测外部表现(如宏观/微观面部表情或肢体语言)；3)主观评估(如自我报告丈量)。
选择最能代表个体情感状态的一个或多个感情指标，须要思量人类情感的复杂性。尽管外部指标轻易观察和获取，但包括社会任务和个人风俗在内的各种因素使得外部观察者很难明确与这些指标相干的感情。另一方面，由于低信噪比、个体心理生理机制、性别以及心理和身段特征等因素，生理信号可能难以表明。然而，生物标记物不轻易受到外部指标的限定，并且难以隐藏或伪装。别的，比年来的技能进步使得数据采集变得轻易且成本低廉，从而使得生理信号能够可靠地用于检测人类情感。
在将人类情感映射到语义情感状态时，有两个广泛接受的框架：离散感情理论和维度感情理论。离散感情理论认为，存在一组核心情感在人类中具有跨文化的可识别性。艾克曼提出的六种基本感情，包括愤怒、厌恶、恐惊、快乐、悲伤和惊奇，是离散感情理论中一个盛行的模型。每种感情状态都是独特且普遍的，具有特定的特征，使其能够清晰地界定并描述各种各样的感情。然而，思量到人类感情的复杂性以及对基本感情构成部分的差异见解，其他研究者提出了将情感状态映射到多维轴上的方法，这就是所谓的维度感情理论。该理论有几种差异的模型。例如，PAD三维模型使用愉悦度、唤醒度和支配度来描述人类情感，其中愉悦度表现快乐或愉快的水平，唤醒度表现警觉水平，支配度表现对周围情况的影响感。另一个盛行的维度模型是环形模型，它试图将情感映射到两个轴上：愉悦度和唤醒度。Plutchik(2003)提出的感情轮结合了类别理论和维度理论。它将四种对立的主要感情排列在一个同心圆上，这四种感情分别是快乐、恐惊、悲伤和愤怒。在这里，本文使用了PAD维度模型和Plutchik感情轮中的四种类别感情来创建基础真值。
比年来，发布了很多情感基准数据库，这些数据库使用单个(单模态)或多种(多模态)感情指标和一种或多种感情理论。例如，柏林感情语音数据库(Emo-DB)记录了10名演员(五名男性和五名女性)所说的535句话，目的是将他们的情感映射到六种感情类别(快乐、愤怒、焦虑、恐惊、无聊和厌恶)。自觉微表情(SMIC)和自觉微面部动作(SAMM)数据集也是单模态数据库，其中记录了参与者的面部表情，并将其感情转化为类别感情。类似地，SEED数据集使用15名参与者的生理信号(EEG)来对他们的感情举行分类。然而，人类心理状态、主观意识和无意识特征的复杂性，以及对全面明确人类感情的需求促使研究人员开展了多模态感情识别研究。AMIGOS数据集收集了40名个体的三种生理信号以及面部和身段的视频录制信息，以识别他们的细微感情变革。DEAP、MAHNOB-HCI、RECOLA、DREAMER和DECAF也是多模态数据库，记录了参与者的眼动、面部视频、语音和生理信号(EEG、肌电图(EMG)、心电图(ECG)、皮肤电活动(EDA))。
鉴于大脑在处理和产生感情反应方面发挥着核心作用，所以丈量神经活动可以提供有关这一过程的宝贵见解，并有助于我们更好地明确感情是怎样表达的。EEG和fNIRS等技能成本相对较低，并且在收集大脑动态信息方面表现出色。一些早期研究强调了这些技能在混合设置中的互补性，特别是在丈量神经血管耦合(脑血流量与神经活动之间的关系)的情感研究背景下。固然有一些公开的fNIRS-EEG数据库，专注于活动想象、心理负荷和活动伪影分析，但据我们所知，目前只有一个公开可用的fNIRS-EEG数据库专注于情感识别。该数据集仅包含来自五名参与者的记录。因此，目前尚缺乏一个全面的、大规模的、包含fNIRS和EEG信号的情感数据库来举行感情研究。
在这里中，本研究创建了fNIRS-EEG情感数据库(FEAD)，同时记录了37名参与者对24种情感线索(视听刺激)做出反应时的EEG和fNIRS信号。这种双模态丈量随后映射到维度感情模型中，使用自我感情评定量表(SAM)举行主观自评，涵盖效价、唤醒度和支配度，以及快乐、愤怒、恐惊和悲伤这四种离散情感。别的，FEAD数据库还包含了参与者对视频认识水平的答复、生齿统计信息，以及积极与消极感情量表(PANAS)，该量表提供了参与者在实验前的感情状态信息。本研究将这种混合设置作为丈量情感生物标记物的体系，并展示了fNIRS和EEG作为单模态和双模态体系的开端维度感情分类效果。
实验程序
刺激数据库
目前已有多种情感诱导范式，主要分为两类：内源性和外源性情感诱发。内源性方法要求被试回忆与特定感情相干的影象(这种影象是不确定和不可控的)。外源性方法则通过外部刺激诱发被试的情感。由于研究人员能够控制提供给被试的刺激，因而外源性情感诱导范式在感情识别研究中的应用更为广泛。
标准化感情诱发工具包括各种刺激类型，如图像、音频、视频、语言、视频游戏和假造现实(VR)。每种刺激类型都有其上风和局限性，刺激类型的选择取决于具体的研究问题。在这里，本研究选择了视频刺激，因为它具有生态效度高、吸引注意力灵敏、活动伪影小等上风，能够提供接近真实天下的体验。
使用以下标准从YouTube上收集了150个视频片段：
1、视频引发了一种情感。
2、视频上没有水印、标识或显着的广告，以消除偏见。
3、视频的内容应该充足清晰，以便参与者无需额外表明就能明确。
4、选择观看次数较少的视频，以最小化认识度等混淆效应。
5、视频长度足以追踪血流动力学反应，但不会影响感情、诱发疲劳或增加认知负荷。
两位心理学家(1名男性和1名女性)审查了这些视频，并从中筛选出76段80秒长的视频片段，这些视频涵盖了广泛的场景(如人际互动、动物、自然、食物和喜剧)。
为了进一步验证这些视频在引发情感方面的有效性，本研究在Amazon Mechanical Turk(MTurk)上举行了一项调查。调查对象被要求观看76段视频，并就每个视频答复5个问题。第一个问题是关于被试对视频的认识水平，采用标准的5点Likert量表(1=完全不认识，5=非常认识)举行评定。接下来的三个问题采用标准的9点Likert量表(SAM量表)，分别评估感情的效价、唤醒度和支配度(VAD)。最后一个问题询问了Plutchik感情轮中的主轴上的核心感情。本研究的MTurk调查仅限于18岁以上的人，并且具备MTurk Master资格的人群。本研究在14天内收集了169份回复，其中106份是完整的。为了进步调查效果的可靠性，本研究删除了相应时间非常短的条目，以排除被试在未观看视频的情况下完成问卷的可能性。最终，共获得了73名被试(45名男性和28名女性)的数据，均匀年事µ=32.8岁，σ2=9.30。对这些被试的评分举行分析，以创建一个用于本研究的视频库。
根据MTurk调查效果和均匀效价评分，视频被分为三类：积极、中性和消极。为了制止内容重复并确保涵盖多样化的唤醒度和支配度范围，两名研究人员从每组中挑选了八段视频。
采集装备和实验情况
先前的研究表明，实验情况不但会对记录的数据产生明显影响，而且还会对被试的心理状态产生明显影响。因此，实验室设置保持简洁且无干扰(图1)。房间的光线被调暗，以防情况光对红外线产生倒霉影响。为了淘汰EEG信号中的活动伪影，研究人员为被试配备了舒适的可调治靠背椅。LG显示屏巨细为59.5英寸，革新率为50/60Hz，并且放置在一个舒适的间隔，以便被试的视线能够集中在屏幕中心。全部量表均在9.7英寸的iPad上完成。
图1.实验情况。
本研究使用g.Nautilus Research硬件同时收集了EEG和fNIRS数据。g.Nautilus是一款无线电池供电的EEG装备，配备有16个湿电极以及一个参考电极和一个接地电极。g.SENSOR 8 fNIRS通道附加装置由8个发射器和2个接收器构成，通过磁性支架固定在脑电帽上。该装置符合标准的10/20布局体系，同时支持fNIRS探头附加装置和机动的EEG电极放置。EEG信号的采样率为500Hz，灵敏度为±187.5mV，并使用50Hz的陷波滤波器举行记录。应用0.01-100Hz的带通滤波器。fNIRS信号的采样率为10Hz，每个发射器和接收器之间的间隔为30mm。采用波长为785nm和850nm的红外光来丈量脑血流中血红蛋白分子的光吸收变革情况。全部被试的差分路径长度因子(DPF)为6。
本研究监测了以下脑区：内侧前额叶皮层(mPFC)、背外侧前额叶皮层(DLPFC)、顶下小叶、额极、辅助活动皮层、颞上回和布罗卡区。图2显示了EEG电极和fNIRS探头的位置，并使用国际10/5体系大致标定了其他位置。fNIRS发射器的近似位置为AF4h、AF3h、F8h、F7h、AFF10h、AFF9h、NFp2和NFp1；接收器的位置为AF7h和AF8h。EEG电极的位置为FC3、FC4、FC5、FC6、CP3、CP4、T7、T8、F7、F8、AF5、AF6、F1、F2、FPz和AFz。
图2.EEG电极(黑色)和fNIRS探头(蓝色)的位置。
参与者
共有37名被试(17名女性和20名男性)参与了本次实验，年事范围为22-44岁(µ=28.97，σ2=5.73)。全部被试视力正常或改正至正常，并且没有诊断出任何神经或心理疾病，如双相停滞或抑郁症。要求被试在实验开始前两小时内制止进食和饮用含咖啡因的茶或咖啡。本研究在奥克兰生物工程研究所举行，并获得了奥克兰大学人类参与者伦理委员会(UAHPEC)的批准。数据颠末匿名处理，以便公开访问。
实验协议
每个被试在实验开始时都观光了一下实验室，以便认识情况，研究人员对这些装备举行了扼要介绍，以减轻焦虑和淘汰额外变量带来的影响。接下来是对实验过程的介绍和对研究量表的表明。在签订知情同意书后，让被试完成一份研究前的调盘问卷，包括生齿统计问题(年事、性别、惯用手和语言)以及一份标准的PANAS量表。PANAS是一份包含20个项目的自评量表，采用5分制来丈量积极和消极感情。这份量表用于在研究开始前评估被试的总体感情状态。
为了淘汰被试头发密度和颜色对红外光传输及EEG信号的影响，本研究使用梳子分开头发，并将电极固定到头皮上之前清理额头上的头发。为了确保音频的清晰度并确保被试与外部情况隔离，实验前预备好耳机，并根据每个被试的须要调治合适的音量。
实验包括三个阶段，每个阶段包含八个试次(图3)。然后将选取的24段视频伪随机分为三个实验子集。每个积极或消极的视频之后都会呈现一个中性视频。在每个试次中，被试观看一段80s的视频，然后有35s的时间来评估本身的感情，接下来注视屏幕中心，深呼吸5s，为下一个试次做预备。为了防止疲劳和困倦，每个阶段之间有两到三分钟的苏息时间。每个视频结束后，被试须要答复五个问题：(I)你对这个视频认识吗？使用5点Likert量表(1：完全不认识；5：非常认识)举行评估；(II)至(IV)是9点SAM量表中的问题(图4)；(V)用一个词描述你的感受(快乐、悲伤、恐惊、愤怒)。实验细节如表1所示。
图3.实验协议。
图4.使用SAM对效价、唤醒度和支配度举行主观感情评估。
表1.实验信息小结。
主观评定分析
如前所述，本研究将收集的视频分为三类(消极、积极和中性)，以引发广泛的感情。图5显示了37名被试对每类选定刺激的均匀效价评分。通过Wilcoxon符号秩检验发现，消极刺激与中性刺激之间的效价评分存在明显差异(p＜0.001)，同样，中性刺激与积极刺激之间也存在明显差异(p＜0.001)。
图5.消极、积极和中性视频的效价评定。
在整个数据集中，效价、唤醒度和支配度的均匀评分分别为5.35(±2.74)、5.06(±2.28)和5.16(±2.35)。图7展示了每种情感状态在每个阶段中的广泛覆盖情况。别的，根据Wilcoxon符号秩检验，mTurk调查对象与实验被试在效价、唤醒度和支配度上的评分差异没有统计明显性(因为全部维度的p＞0.05)(图6)。这意味着两组被试对选定刺激的反应相似。
图6.比力mTurk调查对象和实验被试的评分范围。
图7.每个阶段的效价、唤醒度和支配度的均匀评分。
为了查抄潜在的混淆效应或疲劳迹象，本研究探索了被试者评分的均匀相干性(表2)。研究效果发现，认识度与效价之间存在中等正相干，认识度与支配度之间存在弱正相干。固然没有暗示因果关系，但人们对更认识的视频往往有更积极的感觉。别的，效价与支配度之间存在明显正相干，而效价与唤醒度之间则存在负相干。但这些相干性较弱，表明被试在评分过程中能够清晰地明确和区分差异的量表。刺激次序与效价、唤醒度或支配度评分没有明显关系，这表明风俗化或疲劳效应的影响很小。
表2.认识度、效价、唤醒度、支配度和呈现次序之间的主观评分的均匀相干性。*表现p＜0.05。
团结分析
数据预处理
各种噪声源可能会干扰EEG和fNIRS信号，使数据表明复杂化。很多在EEG信号中观察到的伪迹，如出汗、慢漂移、眨眼和眼球活动，主要出现在低频范围(＜4Hz)，而其他伪迹，如咬紧牙关和肌肉活动，则发生在较高且更宽的频率范围内。固然fNIRS信号相较于EEG信号对活动伪迹更具稳健性，但它们仍可能会受到仪器噪声(＞3Hz)、梅耶波(0.1Hz)、呼吸(0.2-0.5Hz)、心率(1-1.5Hz)以及血压波动的干扰。
为了低落计算成本，将信号降采样至250Hz。采用三阶巴特沃斯滤波器举行滤波，其中EEG的滤波范围为[4-80]Hz，fNIRS的滤波范围为[0.0125-0.7]Hz，以去除上述噪声。每个刺激前5s静息阶段的最后两秒作为基线，80s的视频用于感情状态分析。众所周知，差异的基线校正方法可能会导致差异的效果。在这里，本研究使用基线的均值和标准差来对实验数据举行归一化处理。
由于大脑动态的复杂性和非平稳性，选择特定的特征来表现生理信号可能具有挑衅性，并进而影响数据的表明。时域、频域和空间域中都有很多特征，每种特征都有其长处。本研究使用频带功率(BP)和差分熵(DE)来表现模态的频谱特征和非线性动态特征，这两种方法在情感识别体系中都是有效的。别的，本研究还提取了fNIRS数据的均值，以提供对血管动力学的额外视角。为了估计BP，本研究采用Welch方法(窗口巨细为4s)，并计算了功率谱密度(PSD)在感兴趣频段范围内的面积。
神经血管数据和评分的相干性
为了确定EEG和fNIRS数据是否与主观评分相干，本研究对每个试次的中间40s举行了相干性分析。使用BP来评估两种模态的相干性，以提供直接比力。别的，还评估了HbO和HbR与被试评分的相干性。本研究计算了每种信号类型的频率功率与主观评分之间的Spearman相干系数，并计算了37名被试的p值，假设数据之间是独立的。然后，使用Fisher方法将每种信号类型和每个通道的37个Spearman p值合并为一个p值。明显性水平为p＜0.05。效果如表3所示。可以观察到，在全部感情状态维度中，始终明显的通道大多位于前额叶(AF5、AFz、F1、Fpz)和颞叶(T7、T8)。这一效果与之前使用EEG举行感情识别的研究类似。
表3.fNIRS光极和EEG电极的均匀相干性(p＜0.05)。(∗=p＜0.01，∗∗=p＜0.001)。
本研究观察到效价与全部频段的EEG信号之间存在强相干性。中心(CP3)地区的α频段功率随效价评分的增加而增加。唤醒度与EEG信号在全部频段之间都明显相干。特别是，本研究发现唤醒度与PFC地区的θ频段和α频段功率之间存在明显负相干。关于支配度，本研究效果表明右半球发挥了更实质性的作用，这在F2、FC6和T8地区的明显电极中得到了表现。
fNIRS特征在三个维度上的分析效果展现了氧合和脱氧信号之间存在明显相干性。这一发现与Bandara等人(2018)的研究一致，即除氧合信号外，脱氧信号在区分效价和唤醒方面也起着至关重要的作用。本研究效果显示，fNIRS信号与效价评分的相干性最强。具体而言，积极刺激引发了PFC地区AFF10h氧合信号的频带功率增加，同时导致F8h、AF4h和F7h地区脱氧信号的频带功率降落。别的，NFp1和AF3h通道的脱氧水平与效价呈现明显的正相干(p＜0.01)。关于唤醒度，可以观察到AFF10h位置的频带功率和氧合信号都有所增加。而在支配度方面，NFp1通道的均匀脱氧水平降落。
结论
本研究提出了fNIRS-EEG情感数据库(FEAD)，该数据库包含37名被试的神经血流动力学数据以及对24个感情视频刺激的情感状态评分。本研究使用便携式装备来记录EEG和fNIRS信号，这种方法为情感计算技能和算法在各种应用中的整合提供了契机，并且研究效果很好地展现了EEG和fNIRS信号对感情维度的敏感性。希望未来的研究能够利用该数据库举行探索并开辟新的数据分析方法。
参考文献：A. F. Nia, V. Tang, V. Malyshau, A. Barde, G. M. Talou and M. Billinghurst, “FEAD: Introduction to the fNIRS-EEG Affective Database - Video Stimuli,” in IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2024.3407380.
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
